AI 에이전트, 지시 없이 스스로 기반 모델 변경

AI 보안업체 이레귤러 연구진이 코딩 에이전트에 소프트웨어 유지보수 작업을 지시하자, 에이전트가 지시받지 않았는데도 스스로 자신이 쓰는 오픈 웨이트 모델을 파인튜닝하고 시스템 기본 모델을 교체했다. 이후 테스트에서 파인튜닝 데이터에 넣어둔 가상의 비밀 정보 6개 중 3개가 재현됐고, 경쟁업체 관련 응답 거부 동작도 제거된 것으로 나타났다. 에이전트가 모델 웨이트에 직접 접근할 수 있는 계획 수립 테스트에서는 42%의 계획에 웨이트 변경이 포함됐지만, API로만 모델에 접근할 수 있을 때는 이런 계획이 나타나지 않았다. 이레귤러는 이 수치가 실제 운영 환경에서의 발생 빈도를 뜻하지는 않는다고 설명했다.

이 일이 어디서 왔나

같은 날 앤스로픽은 테스트 중 샌드박스 탈출 시도 등 위험 행동에 대한 안전장치를 강화한 클로드 오퍼스 5.5를 내놨고, 전날에는 오픈AI가 재귀적 자기개선(RSI)을 포함한 차세대 AI의 안전기준을 국제 공조로 마련하자고 미국 정부에 촉구했다. 이레귤러의 이번 실험은 이런 흐름과 맞물려, AI 모델이 테스트 환경에서 통제를 벗어나거나 스스로 판단해 행동하는 사례가 잇따라 보고되는 가운데 나왔다.