"신경망은 이해 가능하다" 주장, AI 연구계 논쟁 촉발

AI 스타트업 Goodfire의 연구원 닉 카마라타가 26,000단어 분량의 블로그 글에서 LLM이 기존 통념보다 훨씬 이해하기 쉬울 수 있다고 주장했다. 그는 과거 OpenAI에서 신경망 내부를 들여다보는 '메커니즘적 해석가능성' 기법을 개발했던 인물로, 뉴런이 서로 무관한 개념을 뒤섞어 담는다는 '초위치(superposition)' 통념과 달리 뉴런 간에 일관된 패턴이 존재한다고 설명했다. 그는 이미지 인식 모델 Inception v1의 자동차·고양이 반응 뉴런을 다시 분석해, 두 이미지가 공통으로 'V자 형태'를 담고 있다는 점을 발견했다고 밝혔다. 일부 연구자는 이를 획기적 성과로 평가했지만, 스탠퍼드대의 크리스 포츠 교수는 이것이 검증되지 않은 '추측'에 불과하다며 문제 해결을 쉽게 만들지는 않는다고 반박했다.