Python GC와 fork가 만나 생기는 Airflow 메모리 버그 해부

네이버 D2 기술 블로그가 Apache Airflow를 CeleryExecutor·LocalExecutor로 PoC하는 과정에서 발견한 두 가지 문제를 다뤘다. 하나는 fork로 생성된 worker 프로세스의 메모리가 계속 증가하는 현상이고, 다른 하나는 MySQL 환경에서 dag-processor가 간헐적으로 재시작되는 현상이다. Memray와 weakref.finalize를 활용한 분석 결과, 두 문제 모두 CPython의 순환 참조 가비지 컬렉션(GC)이 fork로 생긴 자식 프로세스에서 부모로부터 물려받은 객체를 건드리면서 발생하는 것으로 확인됐다. 일부 문제는 Airflow 이슈로 보고돼 3.1.2에서 해결됐고, Memray 추적 기능과 관련 문서도 Airflow 코드베이스에 추가됐다.