AI 안전 국제표준, 원칙 선언에서 증거 검증으로 이동

ETRI 전종홍 책임연구원은 22일 서울대 인공지능신뢰성연구센터 월례세미나에서 AI 안전·신뢰성 국제표준 논의가 원칙 중심에서 증거 중심으로 바뀌고 있다고 밝혔다. AI를 공격해 취약점을 찾는 레드팀 테스트 절차를 정하는 ISO/IEC 42119-7은 2027년 5월 제정을 목표로 하며, 어떤 안전 기준을 충족했는지 근거와 함께 표시하는 신뢰성 사실 라벨(TFL)도 국제표준으로 개발되고 있다. 국내 AI 레드팀 챌린지에서는 참가자들이 AI 에이전트를 여러 개 동시에 가동하면서 제출된 공격 사례가 약 4900건에서 1만 7500건으로 늘었고, 결과 분석에도 AI가 투입됐다. 반면 스스로 판단하고 행동하는 AI 에이전트의 권한·승인·복구 기준을 포괄하는 국제표준은 아직 마련되지 않았다고 전 책임연구원은 지적했다.

이 일이 어디서 왔나

AI 안전 논의는 그동안 기업이 스스로 안전하다고 밝히는 원칙 선언에 의존해 왔는데, 이번 세미나에서 나온 진단은 이를 증거·시험 기반으로 바꾸자는 것이다. 비슷한 시기 앤트로픽은 자체적으로 정한 안전 제한 때문에 국방부 요청 작업을 수행하지 못했고, 이것이 오히려 계약 배제의 근거로 인정받는 판결이 나왔다. 국내에서도 인공지능안전연구소가 전문가 평가를 넘어 일반 국민의 위험 제보를 모으는 체계를 새로 마련하는 등, 안전성을 '누가 무엇으로 입증하느냐'를 둘러싼 움직임이 여러 갈래로 동시에 나타나고 있다.