모델 837건 · 국산 131 · 가격 674 추적 중

LiteLLM

여러 제공사를 OpenAI 호환 한 가지 형식으로 부르게 해 주는 프록시

BerriAI·Python직접 호스팅관리형 제공

지표

GitHub API 에서 직접 읽은 값입니다

GitHub 별61,286

라이선스미확인저장소 공개

주 언어Python2023-07-27 공개

마지막 커밋2026-10-15확인 2026-10-15

별 수 추이는 기록이 쌓인 뒤에 보여 줍니다 — 과거 값은 소급해 만들 수 없습니다.

무엇을 하는 도구인가

LiteLLM은 여러 제공사의 API를 각각 다른 SDK·요청 형식으로 호출하고, 제공사별 키·한도·비용을 따로 관리하던 작업을 하나로 묶어 주는 프록시이다. OpenAI 호환 엔드포인트 하나를 두고 요청을 받아 내부에서 각 제공사의 실제 API 형식으로 변환해 전달하며, 키 발급과 요청량 제한, 비용 집계를 같은 서버 안에서 함께 처리한다. 같은 층의 Portkey Gateway, Helicone, OpenRouter와는 성격이 다른데, 직접 호스팅이 가능해 요청과 키를 외부 서비스로 내보내지 않고 자체 인프라 안에 머물게 할 수 있으며, 동시에 관리형 제공 방식도 선택할 수 있다.

이럴 때 고른다

애플리케이션 코드를 바꾸지 않고 뒤에서 모델이나 제공사를 갈아 끼우고 싶을 때
여러 팀·프로젝트가 쓰는 API 키를 한곳에서 발급하고 사용 한도를 정하고 싶을 때
제공사마다 따로 나오는 요금을 합산해 사용량과 비용을 한 화면에서 보고 싶을 때
자체 인프라 안에서 직접 호스팅하며 요청 로그가 외부로 나가지 않게 하고 싶을 때

어디까지만 하나

직접 호스팅을 택하면 프록시 자체의 가용성·확장·업그레이드를 운영 부담으로 떠안게 된다
요청을 OpenAI 포맷으로 맞추는 변환 계층이 끼어들기 때문에, 제공사 고유 기능이나 응답 필드가 반영되는 시점이 늦거나 매핑에서 빠질 수 있다
역할이 라우팅과 키·비용 관리에 한정되어 있어, 프롬프트 설계나 에이전트 로직, 품질 평가 같은 상위 계층 문제는 별도로 풀어야 한다
제공사 쪽 API 형식이나 기능이 바뀌면 그에 맞춘 변환 매핑이 갱신되기까지 영향을 받을 수 있다

모델 게이트웨이·라우팅 층은 무엇을 푸나

여러 제공사의 모델을 한 가지 방식으로 부르고, 키·한도·비용을 한곳에서 관리한다

언제 필요해지나 — 모델을 갈아 끼울 일이 생기거나, 팀이 쓰는 키를 통제해야 할 때

같은 층의 다른 도구

층이 같다는 것은 푸는 문제가 같다는 뜻입니다 — 비교가 되는 자리입니다

도구	하는 일	별	라이선스
LiteLLM 보는 중	여러 제공사를 OpenAI 호환 한 가지 형식으로 부르게 해 주는 프록시	61,286	—
Portkey Gateway	재시도·폴백·로드밸런싱을 얹은 모델 라우팅 게이트웨이	13,191	MIT
Helicone	프록시로 호출을 가로채 비용·지연·캐시를 함께 다루는 게이트웨이	6,222	Apache-2.0
OpenRouter	여러 제공사의 모델을 하나의 계정·한 가지 API 로 쓰게 하는 중개 서비스	—	—

지표

무엇을 하는 도구인가

이럴 때 고른다

어디까지만 하나

모델 게이트웨이·라우팅 층은 무엇을 푸나

같은 층의 다른 도구

관련 용어