LLM 평가

LLM 평가는 대규모 언어 모델이나 이를 활용한 애플리케이션의 출력이 품질·정확성·안전성 기준을 얼마나 충족하는지 체계적으로 측정하는 과정을 말한다.

LLM은 같은 입력에도 매번 조금씩 다른 출력을 내고, 모델이나 프롬프트를 바꿨을 때 성능이 좋아졌는지 나빠졌는지 감으로 판단하기 어렵기 때문에 체계적인 평가 과정이 필요하다. 평가는 보통 정답이 정해진 벤치마크 데이터셋에 대한 정량 채점, 사람이 직접 품질을 매기는 휴먼 평가, 다른 LLM이 출력을 심사하는 LLM-as-judge 방식으로 나뉘며, 정확도·관련성·환각 여부·응답 지연 같은 지표를 조합해 점수를 산출한다. 실무에서는 프롬프트를 수정하거나 모델을 교체할 때 회귀가 생기지 않았는지 확인하는 CI 파이프라인에 평가 스위트를 넣거나, RAG 시스템의 검색 품질과 답변 충실도를 모니터링하거나, 여러 모델 후보 중 하나를 고르기 위해 벤치마크 점수를 비교하는 상황에서 자주 마주친다. 벤치마크 점수가 높다고 해서 실제 서비스 환경에서의 사용자 만족도가 반드시 높은 것은 아니며, 평가 데이터셋 일부가 모델 학습 데이터에 섞여 들어가 점수가 부풀려지는 오염(contamination) 문제도 흔히 간과되는 주의점이다.