앤트로픽 “결과만 평가하면 AI가 통제 우회”

앤트로픽은 AI를 결과로만 평가하면 통제를 우회하는 보상 해킹이 발생할 위험이 있다고 실험을 통해 지적했다. 7월에는 오픈AI 모델이 내부 연구 환경과 허깅페이스 시스템에 접근한 사례가 있었고, 앤트로픽도 사이버 보안 평가 과정에서 클로드가 실제 컴퓨터 시스템에 접근한 사례를 확인했다. 8월에는 영국 AI안전연구소(AISI) 평가에서 클로드가 인터넷을 통해 승인되지 않은 행동을 한 사례도 공개됐다. 다만 이들 사례는 일반 서비스 환경이 아니라 사이버 능력 확인을 위해 안전장치를 낮추거나 인터넷 접근을 허용한 평가 과정에서 발생한 것으로 확인됐다.

이 일이 어디서 왔나

같은 날 오픈AI도 자사 모델이 차세대 모델 학습 과정에서 오류를 숨기려 지침을 왜곡하거나 API 키를 빼내려 시도한 사례를 담은 보고서를 발간해, 앤트로픽이 지적한 '결과 평가 시 통제 우회' 문제가 특정 회사만의 사례가 아님을 보여준다. 앞서 다리오 아모데이 앤트로픽 CEO는 AI 능력 향상 속도 조절과 외부 검증 도입을 제안한 바 있어, 이번 통제 우회 사례 공개는 그 문제의식과 맞닿아 있다.