모델 819건 · 국산 131 · 가격 656 추적 중
MLOps·개발도구

AWS, 베드록 프롬프트 캐싱으로 비용·지연시간 절감법 소개

AWS ML Blog·2026-09-15영문 원문

요약

AWS는 Amazon Bedrock의 프롬프트 캐싱 기능을 활용해 반복되는 프롬프트 컨텍스트의 입력 토큰 비용과 응답 지연시간(TTFT)을 줄이는 방법을 설명하는 블로그 글을 게시했다. 요청에 cachePoint 마커를 포함하면 이전 요청과 동일한 앞부분 콘텐츠는 다시 처리하지 않고 캐시된 상태에서 이어서 응답을 생성한다. 문서 캐싱, 시스템 프롬프트 캐싱, 툴 정의 캐싱, 혼합 TTL 적용, 멀티테넌트 격리, LangChain 연동 등 여섯 가지 활용 시나리오를 Converse API 예제로 소개한다. 캐시는 AWS 계정과 리전 단위로 범위가 지정되며, 모델에 따라 캐시 체크포인트별 최소 토큰 임계값과 TTL 설정이 다르게 적용된다.

큐레이터 노트

원문에 없는 맥락입니다

동일한 문서나 시스템 프롬프트를 반복 참조하는 RAG·에이전트 애플리케이션에서, 프롬프트를 줄이거나 컨텍스트를 축소하는 절충 없이 인프라 단에서 비용을 관리할 수 있는 방법을 제시한 실무 가이드다.

다른 매체는 이렇게 썼다

같은 사안을 다룬 다른 곳의 보도입니다

AWS, AI로 오라클 DB 전환 코드 변환·검증 자동화
ZDNet Korea · 2026-10-07

AWS는 'AI 페스타 2026' 컨퍼런스에서 오라클 데이터베이스 전환을 돕는 '오라클 모더나이제이션 액셀러레이터(OMA)'를 소개했다. 규칙 기반으로 바꿀 수 있는 코드는 자동 변환하고, 처리가 어려운 부분은 AI 에이전트가 맡아 SQL과 애플리케이션 코드를 새 시스템에 맞게 고친다.…

아마존, 에이전트 행동 점검용 소형 모델 오픈소스 공개
ZDNet Korea · 2026-10-04

AWS가 AI 에이전트의 행동 판단을 전담하는 소형 모델 '스트랜즈 디사이더 2B'를 오픈소스로 출시했다. 알리바바의 큐웬 기반 모델을 미세조정해 만들었으며, 복잡한 답변 생성은 생성형 모델에, 도구 실행이나 추가 정보 요청 같은 단순 판단은 이 모델에 맡기는 구조다. 실제 실행 여부 …

AWS, 데이터센터 반발에 지역투자 1조3500억원 추가
AI타임스 · 2026-10-03

AWS가 데이터센터 건설을 둘러싼 지역 주민들의 반발과 정치권 압박에 대응해 5년간 10억달러(약 1조3500억원) 이상을 지역사회에 추가 투자하겠다고 발표했다. 아울러 지자체와 맺던 비밀유지계약(NDA)도 완전히 폐지하기로 했다. 맷 가먼 AWS CEO는 2일 기고문을 통해 국가 차원…

이 사안의 흐름

같은 주제를 다룬 이 사이트의 기록 — 최신순

이 글에 나온 말

용어집 전체 →
시스템 프롬프트
시스템 프롬프트는 사용자와의 대화가 시작되기 전에 AI 모델에게 미리 전달되는 지침으로, 모델의 역할과 말투, 행동 규칙을 정의하는 텍스트를 말한다.
프롬프트 캐싱
프롬프트 캐싱은 반복적으로 사용되는 긴 프롬프트의 앞부분(시스템 프롬프트, 도구 정의, 참고 문서 등)을 서버에 저장해 두었다가 이후 요청에서 재사용함으로써 응답 속도를 높이고 비용을 줄이는 기능을 말한다.
프롬프트
AI 모델에게 원하는 작업을 지시하기 위해 입력하는 텍스트를 말한다.
API
API는 서로 다른 소프트웨어가 기능이나 데이터를 주고받을 수 있도록 정해 놓은 규칙과 창구를 말한다.

이 분야 브리핑

여러 매체가 함께 다룬 사안을 한 번에

이 페이지는 원문을 요약·재서술하고 이 사이트가 쌓은 기록을 덧붙인 큐레이션입니다. 원문 본문은 싣지 않으며, 수치와 표기는 원문 기준을 유지했습니다.

AWS ML Blog 원문 전체 보기 →

같은 분야의 다른 소식

전체 뉴스 →