온도

언어 모델이 다음 토큰을 선택할 때 확률 분포를 얼마나 평평하게 만들지 조절하는 샘플링 파라미터를 말한다.

언어 모델은 다음에 올 토큰의 확률을 계산한 뒤 그중 하나를 골라 출력하는데, 매번 가장 확률 높은 토큰만 고르면 답변이 단조롭고 반복적으로 나올 수 있어 다양성을 조절할 장치가 필요하다. 온도는 확률을 계산하기 전 단계의 값(로짓, logit)을 온도값으로 나누는 방식으로 작동하며, 값을 낮추면 확률이 높은 토큰에 더 쏠려 예측 가능하고 안정적인 답이 나오고, 값을 높이면 확률 분포가 평평해져 여러 토큰이 고르게 선택되면서 답변이 다양하고 의외성 있게 나온다. 실무에서는 코드 생성이나 정보 요약, 분류처럼 정확성과 일관성이 중요한 작업에는 온도를 낮게, 아이디어 브레인스토밍이나 창작 글쓰기처럼 다양한 표현이 필요한 작업에는 온도를 높게 설정해 API 호출 시 파라미터로 지정한다. 흔히 온도를 0으로 두면 항상 똑같은 답이 나올 거라 생각하기 쉽지만 구현 방식에 따라 완전한 결정성이 보장되지 않을 수 있고, 온도는 표현의 다양성을 조절할 뿐 답의 사실 여부나 품질을 보장하는 값은 아니라는 점을 유의해야 한다.