AWS, vLLM에 양방향 KV 캐시 전송 기여해 TTFT 개선

AWS ML Blog·2026-10-19영문 원문

요약

AWS가 멀티턴 에이전트 워크로드의 첫 토큰 생성 시간(TTFT)을 줄이기 위해 vLLM에 양방향 KV 캐시 전송 기능을 기여했다. 기존 prefill-decode 분리 서빙은 KV 캐시를 prefill에서 decode 노드로만 전달해, 다음 턴마다 이전 응답 토큰의 KV 연산을 다시 계산해야 했다. 새 기능은 decode 노드가 생성 후 KV 블록을 유지하고 KV 캐시 인식 라우터가 메타데이터를 전달해, NIXL을 통한 D→P 방향 전송으로 재사용할 수 있게 한다. AWS는 EFA로 연결된 EC2 P5en 인스턴스에서 자체 벤치마크한 결과 Qwen3-32B는 최대 1.6배, zai-org/GLM-5-FP8은 최대 3.3배 TTFT가 줄었다고 밝혔다. 이 기능은 AWS Trainium 클러스터에서 먼저 검증된 뒤 가속기에 종속되지 않는 형태로 vLLM에 기여됐다.

큐레이터 노트

원문에 없는 맥락입니다

멀티턴 대화에서 누적되는 컨텍스트를 매 턴 다시 계산하는 비효율은 에이전트형 서비스의 지연시간과 가속기 비용에 직접 영향을 주는 지점이라, 서빙 레이어의 최적화가 모델 자체 성능만큼 중요해지고 있음을 보여준다.

이 기사에 나온 모델

단가는 이 사이트 카탈로그에서 매일 확인한 값입니다 · USD / 1M 토큰

alibaba

GLM-5

입력 $0.573 · 출력 $2.58
컨텍스트 203K

google

GLM-5

입력 $1.00 · 출력 $3.20
컨텍스트 200K

zhipu

GLM-5

입력 $1.00 · 출력 $3.20
컨텍스트 205K

다른 매체는 이렇게 썼다

같은 사안을 다룬 다른 곳의 보도입니다

삼성, GMIF2026서 400단 이상 V-NAND·zNAND-O 공개

ZDNet Korea · 2026-10-19

삼성전자는 선전에서 열린 GMIF2026 혁신 서밋 기조연설에서 서버 SSD부터 온디바이스 메모리까지 아우르는 포트폴리오를 공개했다. 업계 최초로 400단 이상을 구현한 V10 V-NAND와 함께 KV 캐시 공유용 PCIe Gen6 서버 SSD 'PM1763', 대용량 'BM1773'을…

vLLM, 이미지까지 보는 멀티모달 의사결정 모델 공개

AI타임스 · 2026-10-13

vLLM 시맨틱 라우터 개발팀이 11일(현지시간) 텍스트와 JSON뿐 아니라 이미지까지 직접 분석하는 멀티모달 의사결정 모델 제품군 '디시전 3.0'을 오픈소스로 공개했다. 기존 의사결정 모델은 주로 텍스트와 구조화된 데이터 처리에 의존해 왔다. 멀티모달 AI 에이전트 도입이 확산되면서…

디노티시아, VDPU로 AI 데이터 검색 병목 해소 추진

ZDNet Korea · 2026-10-07

디노티시아 정무경 대표는 'AI 페스타 26'에서 AI 에이전트 시대에 연산 병목이 GPU에서 CPU·메모리로 옮겨가고 있다고 진단했다. 데이터센터 CPU 워크로드의 60~70%가 데이터 검색에 쓰이고, KV 캐시 비대화로 지연이 커진다는 것이다. 디노티시아는 의미 기반 검색에 특화된 …

이 사안의 흐름

같은 주제를 다룬 이 사이트의 기록 — 최신순

2026-10-19vLLM, 푸시 기반 KV 전송으로 추론 지연 개선AWS ML Blog
2026-10-07망고부스트, AMD 기반 AI 풀스택 사업 확대ZDNet Korea
2026-09-29CTO들 "AI 경쟁력, 모델 아닌 추론 최적화가 좌우"ZDNet Korea
2026-09-22AWS, SageMaker '동시성 스윕'으로 AI 엔드포인트 용량 산정AWS ML Blog
2026-09-11딥시크, 경량 모델 'V4.1 플래시' 출시...KV 캐시 대폭 축소AI타임스

이 글에 나온 말

용어집 전체 →

KV 캐시: 트랜스포머 기반 언어 모델이 토큰을 하나씩 생성할 때 이미 계산한 어텐션의 키(Key)와 값(Value) 벡터를 저장해 두었다가 다음 토큰 생성 시 재사용함으로써 중복 계산을 없애는 추론 최적화 기법을 말한다.
벤치마크: AI 모델의 성능을 정량적으로 측정하고 서로 비교할 수 있도록 표준화한 평가용 문제 집합과 채점 기준을 말한다.
토큰: 언어 모델이 텍스트를 처리할 때 사용하는 최소 단위로, 단어나 단어의 일부, 문장 부호 등을 가리키는 말이다.

이 분야 브리핑

여러 매체가 함께 다룬 사안을 한 번에

바이브코딩 전 산업 확산, 경고도 커진다기사 12건
AI 운영·관리 도구 잇따라 출시기사 8건

이 페이지는 원문을 요약·재서술하고 이 사이트가 쌓은 기록을 덧붙인 큐레이션입니다. 원문 본문은 싣지 않으며, 수치와 표기는 원문 기준을 유지했습니다.

AWS ML Blog 원문 전체 보기 →

같은 분야의 다른 소식

전체 뉴스 →

AWS 베드록, 전체 Claude 모델에 구조화된 출력 지원 추가AWS ML Blog · 2026-10-19
AWS, 소셜 로그인만으로 SageMaker Studio 바로 시작 지원AWS ML Blog · 2026-10-19
SageMaker JumpStart, 2026년 신규 모델 100개 이상 온보딩AWS ML Blog · 2026-10-19
vLLM, 푸시 기반 KV 전송으로 추론 지연 개선AWS ML Blog · 2026-10-19
엠아이큐브솔루션, 제조AI 정부진단서 'S등급' 획득ZDNet Korea · 2026-10-19
스패로우, AI 코딩 보안 솔루션 일본 출시전자신문 SW · 2026-10-19