헌법적 AI

사람이 응답마다 선호를 직접 라벨링하는 대신, 미리 정한 원칙(헌법) 집합을 기준으로 AI가 스스로 자기 응답을 비판하고 수정하도록 훈련하여 정렬시키는 기법을 말한다.

기존 RLHF는 유해성이나 품질 판단을 위해 방대한 인간 라벨링이 필요하고, 라벨러마다 기준이 달라 일관성이 떨어지며 라벨러가 유해한 콘텐츠에 반복 노출되는 부담도 있었다. 헌법적 AI는 이를 두 단계로 보완하는데, 먼저 모델이 원칙 문서에 따라 자신의 답변을 비판하고 수정한 데이터로 지도학습을 하고, 이어서 두 응답 중 어느 쪽이 원칙에 더 부합하는지를 사람이 아닌 AI가 직접 평가한 선호 데이터로 강화학습을 진행하는 방식이라 RLAIF(RL from AI Feedback)라고도 부른다. 실무에서는 안전 정책이 바뀌었을 때 사람이 대규모 데이터를 다시 라벨링하는 대신 원칙 문서를 수정하고 모델을 재훈련하는 방식으로 활용되며, 모델의 정렬 방법론을 설명하는 기술 문서나 안전성 보고서에서 이 용어를 자주 보게 된다. 다만 헌법적 AI가 인간의 개입을 완전히 없앤다는 뜻은 아니다. 원칙 자체를 작성하고 초기 판단 기준을 정하는 과정에는 여전히 사람의 결정이 필요하다.