모델 붕괴

모델이 생성한 데이터를 다음 세대 모델의 학습 데이터로 반복 사용할 때, 데이터의 다양성과 희귀한 패턴이 세대를 거듭할수록 소실되어 모델 성능이 점진적으로 저하되는 현상을 말한다.

웹에 AI 생성 텍스트와 이미지가 늘어나면서, 차세대 모델이 실제 인간 생성 데이터가 아니라 이전 모델의 출력을 학습에 흡수하는 일이 흔해졌고, 이런 재귀적 학습이 반복되면 데이터에 담긴 희귀하거나 특이한 패턴이 점점 사라진다는 문제의식에서 이 개념이 나왔다. 각 세대의 모델은 원본 분포를 완벽히 재현하지 못하고 통계적 근사 오차를 만들어내는데, 이 출력을 다시 다음 세대 학습에 사용하면 오차가 누적되면서 분포가 좁아지고 평균적이고 전형적인 패턴으로 수렴한다. 실무에서는 웹 크롤링 데이터셋에 합성 데이터가 섞여 드는 것을 걸러내거나, 합성 데이터로 파인튜닝·데이터 증강을 설계할 때, 또는 모델 출력을 다시 학습 데이터로 순환시키는 파이프라인을 만들 때 반드시 점검해야 할 리스크로 등장한다. 대응책으로는 데이터 출처를 표시해 합성 데이터 비율을 추적하거나, 인간 생성 데이터의 비중을 일정 수준 이상 유지하는 정책이 논의된다. 다만 합성 데이터를 조금이라도 섞으면 무조건 붕괴가 일어난다는 뜻은 아니며, 실제 데이터와 적절히 혼합하고 다양성을 관리하면 합성 데이터도 유용하게 쓰일 수 있다는 점은 구분해서 이해해야 한다.