Promptfoo

프롬프트나 모델을 바꿀 때마다 여러 입력값을 하나씩 수동으로 돌려보고 결과를 눈으로 대조하는 작업을 대신해 준다. 입력과 기대 결과로 구성된 테스트 케이스 집합을 미리 정의해 두면, 프롬프트·모델·파라미터를 바꿀 때마다 같은 케이스를 다시 실행해 결과를 나란히 비교하고 기준에 못 미치는 항목을 회귀로 표시하는 방식으로 동작한다. Langfuse, Arize Phoenix, OpenLLMetry 같은 도구는 운영 중 실제 호출을 추적·수집하는 데 중심이 있는 반면, Promptfoo는 변경 전후 품질을 테스트 케이스 기반으로 채점·비교하는 데 중심이 있다. DeepEval, Opik도 유사한 평가 기능을 제공하지만, Promptfoo는 설정 파일과 CLI 중심 워크플로를 취해 CI 파이프라인에 끼워 넣는 용도로 쓰이는 경우가 많다.

무엇이 호출됐고 왜 그 답이 나왔는지 기록하고, 바뀐 뒤에도 품질이 유지되는지 본다

언제 필요해지나 — 운영에 올린 뒤 — 이 층이 없으면 품질 저하를 알아차릴 방법이 없다