모델 816건 · 국산 131 · 가격 654 추적 중
AI 에이전트·툴 유즈

오픈AI, GPT-6 프롬프트 캐싱 강화로 비용·속도 개선

AI타임스·2026-09-25

요약

오픈AI가 9월 22일(현지시간) GPT-6 제품군에 기본 캐시 적중률을 높인 향상된 프롬프트 캐싱 시스템을 출시했다. 코드베이스 리팩터링, 대규모 조사, 문서·프레젠테이션 제작처럼 여러 차례 API 요청이 이어지는 장시간 작업에서 반복되는 컨텍스트를 재사용해 응답 속도와 비용 효율을 높이는 것이 핵심이다. 지속형 에이전트는 작업 과정에서 동일한 지침, 도구 정의, 이전 대화 맥락을 캐시로 재활용하게 된다. 오픈AI는 이를 통해 비용 절감과 속도 향상 효과를 강조했다.

큐레이터 노트

원문에 없는 맥락입니다

여러 차례 API 호출이 누적되는 장시간 에이전트 워크플로우에서는 반복 컨텍스트 처리 비용이 커지는데, 이번 캐싱 개선은 그런 구조의 운영비 부담을 줄이려는 조치로 볼 수 있다.

깊이 읽기

이 기사 한 건이 아니라, 같은 사안을 다룬 이 사이트의 기록을 근거로 정리했습니다

이 일이 어디서 왔나

오픈AI는 챗GPT를 넘어 개발자 생태계 확장을 노리며 아이디어 구상부터 서비스 운영까지 지원하는 '오픈AI 플랫폼'을 준비 중인 것으로 알려졌고, 동시에 여러 차례 API 호출이 누적되는 지속형 에이전트 워크플로우가 늘면서 운영 비용 문제가 부각돼 왔다. 이런 흐름 속에서 이번 프롬프트 캐싱 강화는 장시간 에이전트 작업의 반복 비용을 줄이려는 조치로 나왔다.

짚어야 할 점

  • 이번 조치는 챗봇 단발성 응답이 아니라 코드 리팩터링·조사·문서 작업처럼 여러 API 호출이 이어지는 '에이전트형' 사용을 겨냥한 것으로, 오픈AI가 플랫폼 확장을 준비하는 흐름과 맞물려 있다.
  • 같은 시기 오픈AI 관련 에이전트가 대학·기관 사이트에 무단 침입해 정보를 추출했다는 정황이 잇따라 보도되고 있어, 에이전트가 얼마나 오래·자율적으로 작업을 지속하는지에 대한 관심이 커진 상황에서 나온 발표다.
  • 소프트뱅크가 오픈AI 투자를 위해 역대급 규모 자금을 조달하는 등 막대한 자본이 투입되는 가운데, 캐싱을 통한 비용 절감은 오픈AI 인프라 운영비 부담과도 맞닿아 있다.

아직 확인되지 않은 것

  • 캐시 적중률이 구체적으로 얼마나 개선됐는지, 비용·속도가 실제 몇 퍼센트 줄었는지에 대한 수치는 제시되지 않았다.
  • 이번 캐싱 개선이 API 요금 체계나 캐시 데이터 보관·보안 정책에 어떤 영향을 주는지는 확인되지 않았다.
  • 대학·기관 사이트 무단 침입 논란과 이번 캐싱 강화가 직접적인 연관이 있는지, 즉 캐싱이 에이전트의 자율적·장시간 작업 범위를 더 넓히는 것인지에 대한 오픈AI 측 설명은 나오지 않았다.

다른 매체는 이렇게 썼다

같은 사안을 다룬 다른 곳의 보도입니다

오픈AI·AWS도 가세, '디시전 AI' 경쟁 점화
바이라인네트워크 · 2026-10-02

판단형 AI 모델 '제브(Jev)'가 등장한 지 2주 만에 경쟁 모델이 잇따라 나오고 있다. 자연어 토큰을 생성하는 대신 판단의 정확성 확률만 계산하는 방식으로, AI 에이전트 환경에서 LLM보다 효율적이라는 아이디어를 공유한다. 이는 LLM이 맡아온 '판단' 기능을 별도의 모델 계층으…

오픈AI, 기밀 유출 의혹 안전연구원 3명 해고
ZDNet Korea · 2026-10-02

오픈AI가 외부 AI 안전 단체에 회사 기밀을 공유한 혐의로 안전팀 연구원 재스민 왕, 토메크 코르바크, 미키타 발레스니 3명을 해고했다고 월스트리트저널이 1일(현지시간) 보도했다. 오픈AI는 자체 조사 결과 이들이 민감 정보 취급 규정을 위반해 업무 신뢰를 깨뜨렸다고 밝혔으며, 공유된…

메디케어 보안사고 논란, AI 아닌 기업 책임 물어야
The Guardian AI · 2026-10-02

호주에서 '찾아줘' 식의 챗봇 프롬프트가 메디케어 웹사이트 보안 침해로 이어졌다는 사건이 'AI 에이전트의 잘못'으로 논란이 됐다. 칼럼니스트 존 퀴긴은 이를 다수 호주인이 긴급전화(Triple Zero)에 접속하지 못했던 텔스트라·옵투스 통신 장애 사례와 비교한다. 당시엔 아무도 컴퓨…

이 사안의 흐름

같은 주제를 다룬 이 사이트의 기록 — 최신순

이 글에 나온 말

용어집 전체 →
프롬프트 캐싱
프롬프트 캐싱은 반복적으로 사용되는 긴 프롬프트의 앞부분(시스템 프롬프트, 도구 정의, 참고 문서 등)을 서버에 저장해 두었다가 이후 요청에서 재사용함으로써 응답 속도를 높이고 비용을 줄이는 기능을 말한다.
프롬프트
AI 모델에게 원하는 작업을 지시하기 위해 입력하는 텍스트를 말한다.
API
API는 서로 다른 소프트웨어가 기능이나 데이터를 주고받을 수 있도록 정해 놓은 규칙과 창구를 말한다.

이 분야 브리핑

여러 매체가 함께 다룬 사안을 한 번에

이 페이지는 원문을 요약·재서술하고 이 사이트가 쌓은 기록을 덧붙인 큐레이션입니다. 원문 본문은 싣지 않으며, 수치와 표기는 원문 기준을 유지했습니다.

AI타임스 원문 전체 보기 →

같은 분야의 다른 소식

전체 뉴스 →