모델 839건 · 국산 132 · 가격 676 추적 중
MLOps·개발도구

vLLM, 푸시 기반 KV 전송으로 추론 지연 개선

AWS ML Blog·2026-10-19영문 원문

요약

vLLM은 LLM 추론을 입력 처리(프리필)와 출력 생성(디코드) 단계로 분리해 각각 다른 인스턴스에서 처리하는 분산 추론을 지원하는데, 이 경우 KV 캐시를 프리필에서 디코드 인스턴스로 옮기는 작업이 첫 토큰 생성 시간(TTFT)의 병목이 된다. 기존 NIXL 커넥터의 풀(pull) 방식은 디코드 인스턴스가 캐시를 요청해 가져오는 순차 처리라 지연이 발생했다. AWS는 디코드 인스턴스가 미리 대상 블록을 등록해두고 프리필 인스턴스가 완료 즉시 백그라운드 스레드로 데이터를 써넣는 푸시(push) 기반 NIXL 커넥터를 개발해 vLLM 프로젝트에 기여했다. AWS Trainium 클러스터에서 개발·검증했으며, Amazon EC2 P5en(GPU) 클러스터에서 Qwen3-32B 모델로 벤치마크한 결과 풀 방식 대비 TTFT가 최대 3배, 토큰당 생성 시간(TPOT)이 최대 30% 개선됐다고 AWS는 밝혔다.

큐레이터 노트

원문에 없는 맥락입니다

캐시 전송 준비 작업을 디코드 인스턴스의 지연 민감 구간에서 떼어내 백그라운드로 옮겼다는 점이 핵심이며, 이는 GPU뿐 아니라 가속기에 무관하게 적용 가능한 구조로 설계됐다.

깊이 읽기

이 기사 한 건이 아니라, 같은 사안을 다룬 이 사이트의 기록을 근거로 정리했습니다

이 일이 어디서 왔나

AWS는 같은 날 발표한 앞선 보도에서 멀티턴 대화용 양방향(D→P) KV 캐시 전송 기능을 vLLM에 기여했다고 밝혔는데, 이번 기사는 분산 추론의 또 다른 축인 프리필→디코드(P→D) 캐시 전송 구조를 다룬다. 두 기여 모두 AWS Trainium 클러스터에서 먼저 검증한 뒤 가속기에 종속되지 않는 형태로 vLLM 오픈소스에 반영됐고, 벤치마크도 동일하게 EC2 P5en과 Qwen3-32B 조합을 사용했다. 국내 CTO들이 9월 29일 래블업 컨퍼런스에서 지적한 '추론 최적화가 경쟁력을 좌우한다'는 진단과 맞물려, 클라우드 업체들이 추론 인프라 세부 구조까지 손대는 흐름의 한 사례로 볼 수 있다.

짚어야 할 점

  • 같은 날 공개된 두 AWS 기여는 각각 P→D(이번 기사, 푸시 방식)와 D→P(앞선 보도 1, 양방향) 캐시 전송을 다루며, 합치면 분산 추론 파이프라인 전반의 지연을 줄이는 하나의 엔지니어링 묶음으로 읽힌다.
  • 핵심은 캐시 전송 '준비' 작업을 디코드 인스턴스의 지연 민감 구간에서 빼내 백그라운드 스레드로 옮긴 것으로, NIXL 커넥터 자체의 전송 속도를 높인 게 아니라 처리 순서를 바꾼 최적화다.
  • TTFT 최대 3배, TPOT 최대 30% 개선은 모두 풀(pull) 방식 NIXL 커넥터와의 비교치로, 다른 업체의 분산 추론 구현과 비교한 수치는 아니다.
  • AWS는 이 구조가 GPU뿐 아니라 가속기 전반에 적용 가능하다고 설명했는데, 이는 Trainium에서 먼저 개발했기 때문에 나온 설계 원칙으로 보인다.

아직 확인되지 않은 것

  • 벤치마크가 AWS 자체 측정이라는 점 외에 제3자나 vLLM 커뮤니티의 독립적인 검증 결과가 있는지는 확인되지 않았다.
  • 백그라운드 스레드로 캐시 쓰기를 옮기면서 발생할 수 있는 추가 메모리·CPU 오버헤드나 다른 워크로드와의 자원 경�합 여부는 기사에 나오지 않았다.
  • 이번 P→D 푸시 방식과 앞선 보도의 D→P 양방향 전송 기능이 동시에 켜졌을 때 상호작용이나 종합 효과는 설명되지 않았다.

다른 매체는 이렇게 썼다

같은 사안을 다룬 다른 곳의 보도입니다

삼성, GMIF2026서 400단 이상 V-NAND·zNAND-O 공개
ZDNet Korea · 2026-10-19

삼성전자는 선전에서 열린 GMIF2026 혁신 서밋 기조연설에서 서버 SSD부터 온디바이스 메모리까지 아우르는 포트폴리오를 공개했다. 업계 최초로 400단 이상을 구현한 V10 V-NAND와 함께 KV 캐시 공유용 PCIe Gen6 서버 SSD 'PM1763', 대용량 'BM1773'을…

vLLM, 이미지까지 보는 멀티모달 의사결정 모델 공개
AI타임스 · 2026-10-13

vLLM 시맨틱 라우터 개발팀이 11일(현지시간) 텍스트와 JSON뿐 아니라 이미지까지 직접 분석하는 멀티모달 의사결정 모델 제품군 '디시전 3.0'을 오픈소스로 공개했다. 기존 의사결정 모델은 주로 텍스트와 구조화된 데이터 처리에 의존해 왔다. 멀티모달 AI 에이전트 도입이 확산되면서…

디노티시아, VDPU로 AI 데이터 검색 병목 해소 추진
ZDNet Korea · 2026-10-07

디노티시아 정무경 대표는 'AI 페스타 26'에서 AI 에이전트 시대에 연산 병목이 GPU에서 CPU·메모리로 옮겨가고 있다고 진단했다. 데이터센터 CPU 워크로드의 60~70%가 데이터 검색에 쓰이고, KV 캐시 비대화로 지연이 커진다는 것이다. 디노티시아는 의미 기반 검색에 특화된 …

이 사안의 흐름

같은 주제를 다룬 이 사이트의 기록 — 최신순

이 글에 나온 말

용어집 전체 →
KV 캐시
트랜스포머 기반 언어 모델이 토큰을 하나씩 생성할 때 이미 계산한 어텐션의 키(Key)와 값(Value) 벡터를 저장해 두었다가 다음 토큰 생성 시 재사용함으로써 중복 계산을 없애는 추론 최적화 기법을 말한다.
벤치마크
AI 모델의 성능을 정량적으로 측정하고 서로 비교할 수 있도록 표준화한 평가용 문제 집합과 채점 기준을 말한다.
추론
추론(Inference)은 학습이 끝난 인공지능 모델이 새로운 입력을 받아 예측이나 답변 같은 출력을 만들어내는 과정을 말한다.
토큰
언어 모델이 텍스트를 처리할 때 사용하는 최소 단위로, 단어나 단어의 일부, 문장 부호 등을 가리키는 말이다.

이 분야 브리핑

여러 매체가 함께 다룬 사안을 한 번에

이 페이지는 원문을 요약·재서술하고 이 사이트가 쌓은 기록을 덧붙인 큐레이션입니다. 원문 본문은 싣지 않으며, 수치와 표기는 원문 기준을 유지했습니다.

AWS ML Blog 원문 전체 보기 →

같은 분야의 다른 소식

전체 뉴스 →