DeepEval
단위 테스트처럼 쓰는 LLM 출력 평가 프레임워크
지표
GitHub API 에서 직접 읽은 값입니다
GitHub 별18,879
라이선스Apache-2.0저장소 공개
주 언어Python2023-08-10 공개
마지막 커밋2026-10-15확인 2026-10-15
별 수 추이는 기록이 쌓인 뒤에 보여 줍니다 — 과거 값은 소급해 만들 수 없습니다.
무엇을 하는 도구인가
DeepEval은 LLM 애플리케이션의 출력을 단위 테스트처럼 코드로 작성해 자동으로 채점하는 평가 프레임워크다. 환각, 답변 관련성, 문맥 재현율 같은 항목을 사전 정의된 지표나 LLM-as-judge 방식으로 측정하고, CI 파이프라인에 끼워 넣어 프롬프트나 모델을 바꿀 때마다 품질이 유지되는지 확인하는 용도로 쓴다. 호출 로그 자체를 수집·시각화하는 트레이싱 도구와 달리, '이 출력이 기준을 통과했는가'를 판정하는 평가 로직에 초점이 맞춰져 있다. Confident AI라는 관리형 플랫폼과 짝을 이뤄 평가 결과를 대시보드로 모아 볼 수도 있고, 오픈소스 라이브러리만 로컬이나 자체 파이프라인에서 단독으로 쓸 수도 있다.
이럴 때 고른다
- 프롬프트나 모델 버전을 바꾸기 전후로 응답 품질이 떨어지지 않았는지 회귀 테스트를 돌리고 싶을 때
- 환각, 관련성, 문맥 재현율 같은 항목을 수치화된 지표로 매번 같은 기준으로 채점하고 싶을 때
- 평가 로직을 테스트 코드처럼 작성해 CI/CD 파이프라인에 포함시키고 싶을 때
- RAG 파이프라인에서 검색된 문맥과 생성된 답변의 관계를 항목별로 나눠 점검하고 싶을 때
어디까지만 하나
- 평가 지표 다수가 LLM-as-judge 방식이라 판정 자체에 호출 비용과 판정 모델의 편차가 들어간다
- 호출 추적·로그 수집 자체는 이 도구의 핵심이 아니므로, 운영 중 실시간 트레이싱이 필요하면 별도 계측이나 다른 도구와 함께 써야 한다
- 평가 기준(무엇을 '정답'으로 볼지, 어떤 지표를 쓸지)은 도구가 대신 정해주지 않으며 팀이 직접 설계해야 한다
- 관리형 플랫폼(Confident AI)과 오픈소스 라이브러리 중 무엇을 어디까지 쓸지, 데이터가 외부로 나가는지 여부를 도입 전에 확인해야 한다
관측·평가 층은 무엇을 푸나
무엇이 호출됐고 왜 그 답이 나왔는지 기록하고, 바뀐 뒤에도 품질이 유지되는지 본다
언제 필요해지나 — 운영에 올린 뒤 — 이 층이 없으면 품질 저하를 알아차릴 방법이 없다
같은 층의 다른 도구
층이 같다는 것은 푸는 문제가 같다는 뜻입니다 — 비교가 되는 자리입니다
| 도구 | 하는 일 | 별 | 라이선스 |
|---|---|---|---|
| DeepEval 보는 중 | 단위 테스트처럼 쓰는 LLM 출력 평가 프레임워크 | 18,879 | Apache-2.0 |
| Langfuse | 호출 추적·프롬프트 관리·평가를 한곳에서 보는 LLM 관측 도구 | 35,850 | — |
| Promptfoo | 프롬프트·모델을 테스트 케이스로 비교하고 회귀를 잡는 평가 도구 | 26,004 | MIT |
| Opik | 추적·평가·실험 비교를 함께 두는 오픈소스 LLM 플랫폼 | 22,616 | Apache-2.0 |
| Arize Phoenix | OpenTelemetry 기반 추적과 평가를 묶은 오픈소스 관측 도구 | 11,841 | — |
| OpenLLMetry | OpenTelemetry 표준으로 LLM 호출을 계측하는 확장 | 7,495 | Apache-2.0 |
관련 용어
지표는 GitHub API 실측값입니다. 설명은 이 사이트가 작성했으며 공식 문서를 대체하지 않습니다 — 도입 전에 원문을 확인하세요.