Opik

Opik은 LLM 애플리케이션이 운영 중에 어떤 호출을 거쳳고 왜 그 응답이 나왔는지 추적(trace)으로 기록하고, 그 기록을 바탕으로 품질 평가와 실험 비교를 같은 화면에서 수행하는 오픈소스 플랫폼입니다. 체인·에이전트의 각 단계별 입출력, 중간 프롬프트, 메타데이터를 수집해 특정 응답이 왜 나왔는지 거슬러 확인할 수 있게 하고, 여기에 평가 지표나 LLM-judge 기준을 적용해 변경 전후의 품질을 비교합니다. 추적 데이터와 평가·실험 비교 기능을 하나의 플랫폼에 묶어 두었다는 점이 특징이며, 직접 호스팅하거나 관리형으로 이용할 수 있습니다. 같은 층의 Langfuse나 Arize Phoenix도 추적·평가를 결합한 구성이라 역할이 겹치는 부분이 있고, Promptfoo·DeepEval은 평가 자체에, OpenLLMetry는 계측(instrumentation) 표준화에 더 좁게 초점을 둔다는 점에서 조합 방식이 다릅니다.

무엇이 호출됐고 왜 그 답이 나왔는지 기록하고, 바뀐 뒤에도 품질이 유지되는지 본다

언제 필요해지나 — 운영에 올린 뒤 — 이 층이 없으면 품질 저하를 알아차릴 방법이 없다