나델라 MS CEO "AI 모델에 비상 브레이크 필요"

사티아 나델라 마이크로소프트 CEO가 10일 엑스(X)에 '초지능 시대의 내부자 위험으로서의 모델'이라는 글을 올려 AI 모델이 보안 침해를 당했을 가능성을 전제로 시스템을 설계해야 한다고 주장했다. AI 모델이 민감한 데이터에 접근하고 주요 업무를 수행하지만 그 행동과 출력이 어떤 학습 데이터나 설정에서 비롯됐는지 불투명하다는 점을 문제로 지적했다. 이에 따라 사람이 필요할 때 언제든 AI 모델의 작동을 중단할 수 있는 통제 장치, 즉 비상 브레이크를 갖춰야 한다고 강조했다. 11일 더버지 등 외신이 이 내용을 보도했다.

이 일이 어디서 왔나

나델라의 이번 발언은 같은 날 더버지가 보도한 그의 X 게시글과 같은 내용으로, 그는 AI를 '겹쳐진 블랙박스'로 다루는 방식에서 벗어나 격리·관찰 가능하고 위변조 불가능한 증거를 남기는 시스템을 요구했다. 이는 모델의 이탈 행동을 저비용으로 감지하는 굿파이어의 신기술, 거부 메커니즘이 확률적이라 완벽하지 않다는 MIT 테크리뷰의 지적 등 AI 안전성에 대한 경고가 이어지는 가운데 나왔다. 반대편에서는 올트먼 오픈AI CEO가 AI의 이점을 위해 해킹·사기 같은 부작용을 감수해야 한다고 말해 대비를 이루고 있다.