Python Memory Leak 이해

Checkbox
Date	@2023년 1월 11일 오후 1:44

요약

Python은 몇 가지 알고리즘을 통해 GC를 돌리고, 메모리를 회수한다.

Tracemalloc을 통한 Core Dump 프로파일링
- Python 오브젝트가 어디서 메모리 할당이 되었는 지 알 수 있다
- 각 파일 이름과 라인 번호에 따라 메모리 블록 할당의 통계를 알 수 있다.
- 메모리릭을 확인하기 위해 스냅샷 끼리 비교를 할 수 있다.

Tracemalloc 구조
- python memory operations api를 오버라이드 했고, 해당 콜을 트레이스 할 수 있게 만든 라이브러리

내용

파이썬 메모리 관리 방법 (Cpython-2016 자료 기준)
- 파이썬 오브젝트는 메모리에 NAME → Reference → 오브젝트 형태로 메모리에 저장된다.
  null
- name은 오브젝트의 라벨에 불과 하다
- Object 의 여러 타입들
  - Simple Object(불변) - number, string (메모리에 단일 적재)
  - Container Object(가변) - dict, list, class (단순한 오브젝트를 포함한 적재)
- Reference란?
  - 다른 오브젝트를 가리키는 name 또는 container object
- Reference Count
  - 레퍼런스에서 가지고 있는 오브젝트 갯수
  - del 을 통해 레퍼런스를 지울 수 있지만, 오브젝트를 지우는 것은 아님
```
x = 300 # 불변 300 이라는 값을 x가 가리킴 (call by value), Ref count 1
y = 300 # 불변 300 이라는 값을 y가 가리킴 (call by value), Ref count 2
z = [300, 300] # z 배열 안에 300은 300 값을 가리킴 (call by value), Ref count 4
del x # Ref count 3 300이라는 값은 살아있음 

y = None #Ref count 2 300이라는 값은 살아있음
z = None #Ref count 0 300이라는 값을 가리키는 ref가 없기 때문에 
				 #300값이 할당된 메모리 회수 
```
- local vs global namespace
  - global 변수는 refcount가 0이 될 일이 없기 때문에 오브젝트가 삭제가 될 일이 없음
- Python Garbage Collection 방법 (모두 사용)
  - Reference Count 방식
    - Ref Count가 0이 되면, 해당 오브젝트를 지우고 그 오브젝트와 관련된 다른 오브젝트들이 연쇄적으로 메모리 회수가 된다.
    - 순회적으로 서로 참조하는 Ref가 발생 시 GC는 오브젝트 메모리를 회수 할 수 없는 단점이 있음
  - Tracing 방식
    - GC root에 연결되어 있는 object와 reference 그래프를 마킹하고, 연결되지 않은 object와 reference를 삭제함
  - Generational
    - 대부분의 오브젝트가 오래 사용되지 않고 금방 죽는다.
    - 0,1,2 세대를 만들고 새롭게 생성된 오브젝트는 0세대를 할당 받는다.
    - 특정 세대가 임계치를 넘어 gc가 돌게 되면, 해당 세대보다 낮은 번호를 가지고 있는 세대도 gc가 돌게 된다.
      - 해당 임계치는 호스트 파일의
    - refcount가 0이상인 container object만 generation list에 저장된다.
    - Ref count, trace 방식을 통해 살아남은 오브젝트는 다음 세대 번호를 할당 받는다.
- Global interpreter lock (GIL)
  - 인터프리터 내에서 동시에 오직 1개의 쓰레드만 동작이 된다.
  - 장점은 GC 구현이 간편해지지만, 1개의 쓰레드만 동작한다.
  - 따라서 멀티 코어인 CPU에서 이득을 얻기 위해서는 멀티 쓰레딩보다 멀티 프로세싱을 해야 한다.
  - 각 자의 프로세스는 GIL을 가지고, 프로세스 간 정보를 공유한다.