합성 데이터

실제 세계에서 수집한 데이터 대신 알고리즘, 시뮬레이션, 또는 다른 모델을 이용해 인공적으로 생성한 데이터로, 모델 학습이나 평가에 실제 데이터를 대체하거나 보완하는 용도로 쓰인다.

실제 데이터는 수집 비용이 크고, 개인정보나 저작권 문제로 사용이 제한되며, 희귀하거나 위험한 상황일수록 표본을 모으기 어렵다는 한계가 있다. 합성 데이터는 규칙 기반 시뮬레이터로 상황을 재현하거나, 다른 모델의 출력을 정답으로 삼아 대량의 입출력 쌍을 자동 생성하는 방식으로 만들어지며, 이 경우 라벨링 과정 없이도 정답이 함께 생성된다는 장점이 있다. 실무에서는 LLM을 지시문 수행이나 대화 능력으로 파인튜닝할 때 더 큰 모델의 응답을 학습 데이터로 삼거나, 코드·수학처럼 정답을 자동으로 검증할 수 있는 영역에서 모델 스스로 생성한 풀이 중 맞는 것만 골라 학습 데이터로 재사용하는 경우에 자주 마주친다. 의료·금융처럼 개인정보 민감도가 높아 실제 데이터 확보가 어려운 도메인에서 통계적 특성을 흉내 낸 대체 데이터를 만드는 데도 쓰인다. 흔한 오해는 합성 데이터가 실제 데이터의 한계를 완전히 해소해 준다는 생각인데, 생성에 사용한 모델의 편향과 오류가 그대로 반영되고, 이런 데이터로만 반복 학습하면 출력의 다양성이 줄고 품질이 저하되는 모델 붕괴 현상이 나타날 수 있어 실제 데이터와의 병행 검증이 필요하다.