Portkey Gateway

Portkey Gateway는 애플리케이션과 여러 LLM 제공사 사이에 놓이는 라우팅 게이트웨이로, 각 제공사 SDK를 따로 붙이고 재시도·장애 전환 로직을 직접 짜야 하는 작업을 대신 처리한다. 하나의 호출 방식으로 여러 제공사의 모델을 부를 수 있게 하고, 요청 실패 시 재시도와 다른 모델·제공사로의 폴백, 여러 키·엔드포인트에 걸친 로드밸런싱을 게이트웨이 단에서 수행한다. 팀이 사용하는 API 키, 사용량 한도, 비용을 앱 코드가 아니라 게이트웨이 한곳에서 관리할 수 있다. 같은 모델 게이트웨이 층의 다른 도구들과 마찬가지로 '여러 모델을 한 인터페이스로 호출'하는 역할을 하지만, 구체적으로 무엇을 central 관리 대상으로 삼는지(키, 로그, 과금 등)와 자체 호스팅 여부 같은 운영 방식에서 차이가 난다. 직접 호스팅하거나 관리형 서비스로 쓸 수 있어 배포 형태를 선택할 수 있다.

여러 제공사의 모델을 한 가지 방식으로 부르고, 키·한도·비용을 한곳에서 관리한다

언제 필요해지나 — 모델을 갈아 끼울 일이 생기거나, 팀이 쓰는 키를 통제해야 할 때