오케스트레이션
모델을 쓰는 것과 굴리는 것은 다르다
모델 하나를 부르는 것으로 끝나는 일은 드뭅니다. 도구를 쥐여 주고, 여러 모델을 갈아 끼우고, 무엇이 왜 그렇게 답했는지 남겨야 합니다. 그 사이를 메우는 도구들을 여섯 층으로 나눠 정리했습니다. 별 수·라이선스는 GitHub 실측값이고, 설명에는 수치를 쓰지 않습니다.
도구38
층6
직접 호스팅37
확인2026-10-15
에이전트 프레임워크
모델 호출을 여러 단계로 엮고, 도구를 쥐여 주고, 상태를 들고 간다
언제 필요한가 — 한 번의 호출로 끝나지 않는 일을 코드로 짤 때
LangChain
LangChain
모델·도구·데이터 연결을 공통 인터페이스로 묶는 프레임워크
★ 147.8kMITPython직접 호스팅
MicrosoftAutoGen
에이전트 간 대화로 작업을 풀어 가는 다중 에이전트 프레임워크
★ 61.4kCC-BY-4.0Python직접 호스팅
CrewAICrewAI
역할을 나눈 여러 에이전트가 협업하도록 구성하는 프레임워크
★ 59.7kMITPython직접 호스팅
LlamaIndexLlamaIndex
문서를 읽어 색인하고 질문에 맞는 조각을 찾아 넣는 데 초점을 둔 프레임워크
★ 52.5kMITPython직접 호스팅
LangChainLangGraph
에이전트의 단계를 그래프로 정의해 분기·되돌림·사람 개입을 넣는다
★ 43.3kMITPython직접 호스팅
AgnoAgno
메모리·지식·도구를 갖춘 에이전트를 가볍게 구성하는 프레임워크
★ 42.7kApache-2.0Python직접 호스팅
OpenAIOpenAI Agents SDK
핸드오프·가드레일·추적을 기본으로 둔 경량 에이전트 SDK
★ 30.0kMITPython직접 호스팅
MicrosoftSemantic Kernel
기존 애플리케이션 코드에 모델 호출과 플러그인을 끼워 넣는 SDK
★ 28.7kMIT.NET직접 호스팅
deepsetHaystack
검색·질의응답 파이프라인을 구성 요소 조합으로 짜는 프레임워크
★ 26.7kApache-2.0Python직접 호스팅
GoogleGoogle ADK
구글이 공개한 에이전트 개발 키트 — 평가·배포까지 함께 둔다
★ 21.9kApache-2.0Python직접 호스팅
PydanticPydantic AI
출력 구조를 타입으로 강제하는 데 초점을 둔 에이전트 프레임워크
★ 20.6kMITPython직접 호스팅
AWSStrands Agents
모델이 스스로 도구를 고르게 두는 방식을 전제로 한 에이전트 SDK
★ 8.8kApache-2.0Python직접 호스팅
모델 게이트웨이·라우팅
여러 제공사의 모델을 한 가지 방식으로 부르고, 키·한도·비용을 한곳에서 관리한다
언제 필요한가 — 모델을 갈아 끼울 일이 생기거나, 팀이 쓰는 키를 통제해야 할 때
BerriAI
LiteLLM
여러 제공사를 OpenAI 호환 한 가지 형식으로 부르게 해 주는 프록시
★ 61.3k라이선스 미상Python직접 호스팅
PortkeyPortkey Gateway
재시도·폴백·로드밸런싱을 얹은 모델 라우팅 게이트웨이
★ 13.2kMITTypeScript직접 호스팅
HeliconeHelicone
프록시로 호출을 가로채 비용·지연·캐시를 함께 다루는 게이트웨이
★ 6.2kApache-2.0TypeScript직접 호스팅
OpenRouterOpenRouter
여러 제공사의 모델을 하나의 계정·한 가지 API 로 쓰게 하는 중개 서비스
비공개여러 언어
워크플로·노코드
코드를 쓰지 않고 화면에서 흐름을 잇는다
언제 필요한가 — 개발자가 아닌 사람이 직접 만들고 고쳐야 할 때
n8n
n8n
업무 자동화 워크플로 도구 — AI 노드로 모델 호출을 끼워 넣는다
★ 207.4k라이선스 미상TypeScript직접 호스팅
LangGeniusDify
화면에서 흐름을 잇고 바로 앱으로 내보내는 LLM 애플리케이션 플랫폼
★ 158.5k라이선스 미상TypeScript직접 호스팅
LangflowLangflow
파이썬 기반 시각 편집기 — 만든 흐름을 API 로 내보낸다
★ 155.7kMITPython직접 호스팅
FlowiseAIFlowise
노드를 끌어다 놓아 LLM 체인·에이전트를 만드는 시각 도구
★ 55.5k라이선스 미상TypeScript직접 호스팅
ActivepiecesActivepieces
오픈소스 업무 자동화 — AI 단계를 포함한 커넥터를 조합한다
★ 25.1k라이선스 미상TypeScript직접 호스팅
관측·평가
무엇이 호출됐고 왜 그 답이 나왔는지 기록하고, 바뀐 뒤에도 품질이 유지되는지 본다
언제 필요한가 — 운영에 올린 뒤 — 이 층이 없으면 품질 저하를 알아차릴 방법이 없다
Langfuse
Langfuse
호출 추적·프롬프트 관리·평가를 한곳에서 보는 LLM 관측 도구
★ 35.9k라이선스 미상TypeScript직접 호스팅
PromptfooPromptfoo
프롬프트·모델을 테스트 케이스로 비교하고 회귀를 잡는 평가 도구
★ 26.0kMITTypeScript직접 호스팅
CometOpik
추적·평가·실험 비교를 함께 두는 오픈소스 LLM 플랫폼
★ 22.6kApache-2.0Python직접 호스팅
Confident AIDeepEval
단위 테스트처럼 쓰는 LLM 출력 평가 프레임워크
★ 18.9kApache-2.0Python직접 호스팅
Arize AIArize Phoenix
OpenTelemetry 기반 추적과 평가를 묶은 오픈소스 관측 도구
★ 11.8k라이선스 미상Python직접 호스팅
TraceloopOpenLLMetry
OpenTelemetry 표준으로 LLM 호출을 계측하는 확장
★ 7.5kApache-2.0Python직접 호스팅
실행 환경·샌드박스
모델이 만든 코드와 행동을 **격리된 곳에서** 돌린다
언제 필요한가 — 에이전트가 코드를 실행하거나 브라우저·터미널을 건드릴 때
검색·메모리
모델이 모르는 자료를 찾아 넣어 주고, 대화 사이의 기억을 보관한다
언제 필요한가 — 사내 문서나 과거 대화를 근거로 답해야 할 때
InfiniFlow
RAGFlow
문서 구조를 이해하는 데 공들인 오픈소스 RAG 엔진
★ 92.3kApache-2.0Python직접 호스팅
AnthropicMCP Servers
모델에 외부 데이터·도구를 붙이는 표준 프로토콜의 공식 서버 모음
★ 91.3k라이선스 미상여러 언어직접 호스팅
MicrosoftGraphRAG
문서에서 지식 그래프를 뽑아 전체 맥락을 묻는 질문에 답하는 방식
★ 36.3kMITPython직접 호스팅
QdrantQdrant
필터링을 함께 쓰는 데 강한 벡터 데이터베이스
★ 35.1kApache-2.0Rust직접 호스팅
ChromaChroma
로컬에서 바로 띄워 쓰기 쉬운 임베딩 데이터베이스
★ 29.5kApache-2.0Python직접 호스팅
LettaLetta
대화 사이의 기억을 스스로 정리해 들고 가는 에이전트 서버
★ 25.1kApache-2.0Python직접 호스팅
pgvectorpgvector
PostgreSQL 에 벡터 타입과 검색을 더하는 확장 — 쓰던 DB 를 그대로 쓴다
★ 23.4k라이선스 미상여러 언어직접 호스팅
WeaviateWeaviate
스키마와 하이브리드 검색을 갖춘 벡터 데이터베이스
★ 16.9k라이선스 미상Go직접 호스팅
별 수·라이선스·언어는 GitHub API 에서 직접 확인한 값이며 주기적으로 다시 읽습니다. 별 수는 인기 지표일 뿐 품질이나 적합성을 뜻하지 않습니다 — 층이 다른 도구끼리는 비교 대상이 아닙니다. 설명에는 수치를 쓰지 않습니다.