Langfuse
호출 추적·프롬프트 관리·평가를 한곳에서 보는 LLM 관측 도구
지표
GitHub API 에서 직접 읽은 값입니다
GitHub 별35,850
라이선스미확인저장소 공개
주 언어TypeScript2023-05-18 공개
마지막 커밋2026-10-15확인 2026-10-15
별 수 추이는 기록이 쌓인 뒤에 보여 줍니다 — 과거 값은 소급해 만들 수 없습니다.
무엇을 하는 도구인가
Langfuse는 LLM 애플리케이션의 호출 체인을 추적하고, 프롬프트를 버전별로 관리하며, 응답 품질을 평가하는 작업을 한 플랫폼에서 묶어 처리하는 관측 도구다. 이 도구가 없으면 요청-응답 로그를 직접 수집해 저장하고, 어떤 프롬프트 버전이 어떤 결과를 냈는지 수작업으로 대조해야 한다. 멀티스텝 에이전트나 체인 호출을 하나의 트레이스로 엮어 각 단계의 입출력, 지연, 비용을 함께 보여주는 방식으로 동작한다. 같은 층의 도구들 중 일부는 추적 계측(OpenLLMetry)이나 평가(Promptfoo, DeepEval)에 범위를 좁혀 집중하는 반면, Langfuse는 추적·프롬프트 관리·평가 기능을 한 플랫폼 안에서 함께 제공한다는 점에서 구성 방식이 다르다.
이럴 때 고른다
- 운영 중인 LLM 앱에서 특정 응답이 어떤 호출 경로와 프롬프트로 만들어졌는지 역추적해야 할 때
- 프롬프트를 버전으로 관리하면서 변경 전후 품질 변화를 같은 화면에서 비교하고 싶을 때
- 여러 단계로 이어지는 에이전트/체인 호출의 비용과 지연을 트레이스 단위로 파악하고 싶을 때
- 로그와 프롬프트 데이터를 외부로 내보내지 않고 자체 인프라에 직접 호스팅해야 하는 요구가 있을 때
어디까지만 하나
- 관측·기록 도구이므로 품질 저하의 원인을 찾아 고쳐주지는 않으며, 무엇을 평가 기준으로 삼을지는 사용자가 직접 설계해야 한다
- 트레이스가 쌓이려면 애플리케이션 코드에 SDK나 계측 호출을 넣는 초기 작업이 선행되어야 한다
- 자체 호스팅을 택하면 데이터베이스·스토리지 등 운영 부담을 직접 떠안아야 한다
- 평가 자체의 정확성은 LLM-as-judge 설정이나 평가 데이터셋 구성 등 사용자가 정의한 기준에 의존한다
관측·평가 층은 무엇을 푸나
무엇이 호출됐고 왜 그 답이 나왔는지 기록하고, 바뀐 뒤에도 품질이 유지되는지 본다
언제 필요해지나 — 운영에 올린 뒤 — 이 층이 없으면 품질 저하를 알아차릴 방법이 없다
같은 층의 다른 도구
층이 같다는 것은 푸는 문제가 같다는 뜻입니다 — 비교가 되는 자리입니다
| 도구 | 하는 일 | 별 | 라이선스 |
|---|---|---|---|
| Langfuse 보는 중 | 호출 추적·프롬프트 관리·평가를 한곳에서 보는 LLM 관측 도구 | 35,850 | — |
| Promptfoo | 프롬프트·모델을 테스트 케이스로 비교하고 회귀를 잡는 평가 도구 | 26,004 | MIT |
| Opik | 추적·평가·실험 비교를 함께 두는 오픈소스 LLM 플랫폼 | 22,616 | Apache-2.0 |
| DeepEval | 단위 테스트처럼 쓰는 LLM 출력 평가 프레임워크 | 18,879 | Apache-2.0 |
| Arize Phoenix | OpenTelemetry 기반 추적과 평가를 묶은 오픈소스 관측 도구 | 11,841 | — |
| OpenLLMetry | OpenTelemetry 표준으로 LLM 호출을 계측하는 확장 | 7,495 | Apache-2.0 |
관련 용어
- LLM 관측
- LLM 관측(LLM Observability)은 대규모 언어 모델 기반 애플리케이션의 프롬프트, 응답, 중간 처리 단계를 기록·추적하여 동작을 분석하고 문제를 진단할 수 있게 하는 관측 체계를 말한다.
- 프롬프트
- AI 모델에게 원하는 작업을 지시하기 위해 입력하는 텍스트를 말한다.
- 평가
- AI 모델이나 시스템의 출력이 원하는 기준에 얼마나 부합하는지를 정량적·정성적으로 측정하는 절차를 말한다.
- 추적
- AI 에이전트나 LLM 애플리케이션이 작업을 처리하는 동안 거치는 호출, 입출력, 지연 시간 등의 실행 경로를 단계별로 기록하고 시각화하는 것을 말한다.
지표는 GitHub API 실측값입니다. 설명은 이 사이트가 작성했으며 공식 문서를 대체하지 않습니다 — 도입 전에 원문을 확인하세요.