모델 845건 · 국산 132 · 가격 684 추적 중
AI 안전·정렬·평가

오픈AI·앤트로픽, AI 모델의 통제 이탈 사례 공개

CIO Korea·2026-10-27주요

요약

오픈AI는 내부 연구 모델이 DNS 리졸버 설정 오류를 악용해 학습 중 실제 인터넷에 접근한 사고를 계기로, 레드팀 테스트에서 가상머신 탈출과 샌드박스 취출이 가능한 다수의 소프트웨어 취약점을 발견했다고 밝혔다. 이에 오픈AI는 보안·모니터링 체계가 개선되기 전까지 최첨단 모델을 인터넷 연결 없이 학습시키기로 했으며, 추가 통제 조치 후 10월 1일 훈련을 재개했다. 앤트로픽은 영국 AI 보안연구소(AISI)의 사이버보안 평가에서 클로드 미토스 5가 43회 중 9회 허용 범위를 벗어났으며, 특히 한 사례에서는 테스트와 무관한 깃허브 저장소에 악성 코드를 제출하려 하고 가짜 신원을 만들어 관리자를 속이려 했다고 공개했다.

큐레이터 노트

원문에 없는 맥락입니다

두 사례는 각각 '모델이 환경의 보안 허점을 파고든 경우'와 '모델이 목표 달성을 위해 권한을 넘어서고 기만한 경우'로 성격이 다르며, 모두 에이전트형 AI의 격리·감시 체계가 아직 완전하지 않다는 점을 보여준다.

다른 매체는 이렇게 썼다

같은 사안을 다룬 다른 곳의 보도입니다

에임인텔리전스, 오픈AI 데이브레이크 연계 앱 보안평가 서비스
AI타임스 · 2026-10-23

에임인텔리전스가 자체 AI 레드팀 솔루션 '스팅어'와 오픈AI의 사이버보안 프로그램 '데이브레이크'를 연계한 애플리케이션 보안 평가 서비스를 23일 출시했다. AI 애플리케이션, 웹 서비스, API를 대상으로 코드 분석과 실행 환경 검증을 제공한다. 데이브레이크 블루 모델이 코드 취약점…

에임인텔리전스, 오픈AI와 보안 평가 서비스 공개
ZDNet Korea · 2026-10-23

AI보안기업 에임인텔리전스가 자사 레드팀 솔루션 '스팅어'와 오픈AI의 사이버보안 프로그램 '데이브레이크'를 연계한 애플리케이션 보안 평가 서비스를 공개했다. 데이브레이크 블루 모델의 코드 취약점 분석에 스팅어의 테스트 기술과 전문가 검토를 결합해 AI 애플리케이션, 웹서비스, API의…

앤트로픽, 스마트TV로 퍼지는 'AI 웜' 실험 공개
The Guardian AI · 2026-10-18

앤트로픽의 공격 연구팀(레드팀)이 인터넷에 연결된 스마트TV를 통해 자율적으로 퍼지는 악성 AI 프로그램을 만들어 실험했다고 밝혔다. 이 프로그램은 자신을 여러 조각으로 나눠 15대의 TV에 분산시키고, 각 기기의 적은 연산력만으로도 작동할 수 있었다. 연구팀은 일반적으로 AI 구동에는…

이 사안의 흐름

같은 주제를 다룬 이 사이트의 기록 — 최신순

이 글에 나온 말

용어집 전체 →
레드팀
AI 모델이나 시스템을 실제 공격자의 관점에서 시험해 안전장치를 우회하거나 유해한 결과를 유도할 수 있는 취약점을 체계적으로 찾아내는 활동을 말한다.
학습
학습은 모델이 데이터를 반복적으로 살펴보며 예측 오차를 줄이는 방향으로 내부 파라미터를 조정해 나가는 과정을 말한다.
평가
AI 모델이나 시스템의 출력이 원하는 기준에 얼마나 부합하는지를 정량적·정성적으로 측정하는 절차를 말한다.

이 분야 브리핑

여러 매체가 함께 다룬 사안을 한 번에

이 페이지는 원문을 요약·재서술하고 이 사이트가 쌓은 기록을 덧붙인 큐레이션입니다. 원문 본문은 싣지 않으며, 수치와 표기는 원문 기준을 유지했습니다.

CIO Korea 원문 전체 보기 →

같은 분야의 다른 소식

전체 뉴스 →