지식 증류

지식 증류는 크고 성능이 뛰어난 교사 모델의 지식을 작고 가벼운 학생 모델에 전달하여, 적은 비용으로 비슷한 성능을 내도록 학습시키는 모델 압축 기법을 말한다.

대형 모델은 정확도는 높지만 추론 비용과 지연 시간이 커서 실제 서비스에 그대로 배포하기 어려운 경우가 많다. 이 문제를 해결하기 위해 교사 모델이 내놓는 최종 정답뿐 아니라 각 선택지에 대한 확률 분포(소프트 레이블)까지 학생 모델이 모방하도록 학습시키면, 정답만 보고 배우는 것보다 더 풍부한 판단 근거를 전수받을 수 있다. 실무에서는 대형 언어모델(또는 대형 API 모델)의 응답을 학습 데이터로 삼아 소형 모델을 파인튜닝함으로써, 모바일·엣지 기기에 올릴 경량 모델을 만들거나 서빙 비용을 줄이는 상황에서 자주 쓰인다. 흔히 착각하기 쉬운 점은 지식 증류가 학생 모델을 교사 모델과 완전히 동일한 성능으로 만들어 주는 것은 아니며, 대체로 성능과 비용 사이의 절충안을 제공한다는 것이다. 교사가 학생에게 정답만 알려주는 대신 문제 풀이 감각까지 함께 전달한다고 생각하면 이해하기 쉽다.