LLM 관측
LLM Observability · 중급
LLM 관측(LLM Observability)은 대규모 언어 모델 기반 애플리케이션의 프롬프트, 응답, 중간 처리 단계를 기록·추적하여 동작을 분석하고 문제를 진단할 수 있게 하는 관측 체계를 말한다.
LLM 애플리케이션은 같은 입력에도 다른 출력을 낼 수 있고, 프롬프트 구성·도구 호출·검색·체인 등 여러 단계를 거치면서 오류나 품질 저하의 원인을 특정하기 어렵다. 기존 서버 모니터링은 요청 성공 여부나 지연 시간 같은 지표는 보여주지만, 왜 답변이 부정확했는지나 어느 단계에서 환각이 발생했는지는 설명하지 못한다. 이를 보완하기 위해 각 요청의 프롬프트, 모델 응답, 토큰 사용량, 중간 도구 호출과 검색 결과를 트레이스 단위로 수집하고, 필요하면 자동 평가나 사용자 피드백 점수를 함께 저장해 하나의 요청이 거친 전체 흐름을 재구성할 수 있게 한다. 실무에서는 여러 단계로 구성된 에이전트 파이프라인에서 특정 단계가 이상한 출력을 낼 때 원인을 추적하거나, 프롬프트나 모델을 교체한 뒤 응답 품질과 비용 변화를 비교하거나, 운영 중 발생한 특정 오류를 재현하기 위해 과거 요청 로그를 조회할 때 이러한 도구를 사용한다. 단순히 API 호출 로그를 남기는 것과 혼동하기 쉽지만, LLM 관측은 여러 단계의 트레이스를 하나로 연결하고 품질·비용·지연을 함께 분석한다는 점에서 더 넓은 개념이다.