Arize Phoenix
OpenTelemetry 기반 추적과 평가를 묶은 오픈소스 관측 도구
지표
GitHub API 에서 직접 읽은 값입니다
GitHub 별11,841
라이선스미확인저장소 공개
주 언어Python2022-11-09 공개
마지막 커밋2026-10-15확인 2026-10-15
별 수 추이는 기록이 쌓인 뒤에 보여 줍니다 — 과거 값은 소급해 만들 수 없습니다.
무엇을 하는 도구인가
Arize Phoenix는 LLM 애플리케이션의 호출 과정을 OpenTelemetry 기반으로 추적하고, 그 결과를 평가하는 오픈소스 도구입니다. 애플리케이션에 계측(instrumentation)을 넣으면 각 호출의 입력·출력·중간 단계(스팬)가 자동으로 기록되고, 이를 데이터셋과 묶어 LLM-as-judge 평가나 실험(experiment) 비교를 돌릴 수 있습니다. 프롬프트나 모델을 바꾼 뒤에는 바뀌기 전 결과와 비교해 품질이 유지되는지 확인하는 용도로 쓰입니다. 같은 층의 다른 도구들과 달리 OpenTelemetry 표준을 그대로 쓰기 때문에, 기존에 구축해 둔 범용 관측 스택과 트레이스 데이터를 공유하기 쉽다는 점이 특징입니다. 직접 호스팅하거나 Arize의 관리형 서비스를 이용하는 두 가지 배포 방식을 모두 지원합니다.
이럴 때 고른다
- 운영 중인 LLM 앱에서 특정 호출의 입력/출력/중간 단계를 추적해 원인을 파악해야 할 때
- 프롬프트나 모델을 바꾼 뒤 품질 저하가 없는지 데이터셋 기반으로 비교 검증할 때
- 이미 OpenTelemetry 계측을 쓰고 있어서 기존 관측 스택과 트레이스를 연동하고 싶을 때
- 데이터를 외부로 보내지 않고 자체 인프라에 직접 호스팅해서 관리하고 싶을 때
어디까지만 하나
- 트레이스를 보려면 애플리케이션 코드에 계측을 직접 넣어야 하며, 계측하지 않은 부분은 보이지 않음
- 무엇을 '좋은 응답'으로 볼지 평가 기준은 도구가 정해주지 않으므로 직접 설계해야 함
- 셀프호스팅을 선택하면 업그레이드, 스토리지, 스케일링 같은 운영 부담을 직접 감당해야 함
- 추적·평가 계층의 도구이므로 프롬프트 관리나 에이전트 오케스트레이션 자체는 다루지 않음
관측·평가 층은 무엇을 푸나
무엇이 호출됐고 왜 그 답이 나왔는지 기록하고, 바뀐 뒤에도 품질이 유지되는지 본다
언제 필요해지나 — 운영에 올린 뒤 — 이 층이 없으면 품질 저하를 알아차릴 방법이 없다
같은 층의 다른 도구
층이 같다는 것은 푸는 문제가 같다는 뜻입니다 — 비교가 되는 자리입니다
| 도구 | 하는 일 | 별 | 라이선스 |
|---|---|---|---|
| Arize Phoenix 보는 중 | OpenTelemetry 기반 추적과 평가를 묶은 오픈소스 관측 도구 | 11,841 | — |
| Langfuse | 호출 추적·프롬프트 관리·평가를 한곳에서 보는 LLM 관측 도구 | 35,850 | — |
| Promptfoo | 프롬프트·모델을 테스트 케이스로 비교하고 회귀를 잡는 평가 도구 | 26,004 | MIT |
| Opik | 추적·평가·실험 비교를 함께 두는 오픈소스 LLM 플랫폼 | 22,616 | Apache-2.0 |
| DeepEval | 단위 테스트처럼 쓰는 LLM 출력 평가 프레임워크 | 18,879 | Apache-2.0 |
| OpenLLMetry | OpenTelemetry 표준으로 LLM 호출을 계측하는 확장 | 7,495 | Apache-2.0 |
관련 용어
지표는 GitHub API 실측값입니다. 설명은 이 사이트가 작성했으며 공식 문서를 대체하지 않습니다 — 도입 전에 원문을 확인하세요.