사람 개입

AI 시스템이 작업을 자동으로 수행하는 흐름 중 특정 지점에서 멈추고 사람의 검토·승인·수정을 거치도록 설계하는 방식을 말한다.

자율적으로 동작하는 에이전트나 모델은 되돌리기 어려운 작업을 잘못 수행할 위험이 있어, 중요한 분기점마다 사람이 결과를 확인하게 함으로써 오류가 실제 피해로 이어지기 전에 막을 필요가 있다. 구현 시에는 워크플로우의 특정 단계—예를 들어 도구 호출 직전이나 최종 출력 직전—에서 실행을 일시 중단하고, 사람의 승인·거부·수정 입력을 받은 뒤에야 다음 단계로 넘어가도록 구성한다. 실무에서는 에이전트가 파일 삭제나 결제 같은 민감한 작업을 실행하기 전에 확인을 요청하는 경우, LLM이 작성한 코드나 문서를 자동 배포 전에 담당자가 변경 내역을 검토하는 파이프라인, 챗봇이 환불이나 계정 변경처럼 위험도가 높은 액션을 처리해야 할 때 상담원에게 승인을 넘기는 경우 등에서 마주친다. 흔히 오해하는 점은 사람 개입을 넣기만 하면 시스템이 안전해진다고 생각하는 것인데, 개입 지점을 어디에 두는지와 사람이 실제로 내용을 꼼꼼히 검토할 여력이 있는지가 핵심이며, 모든 단계에 승인을 넣으면 사람이 내용을 제대로 보지 않고 형식적으로 넘기는 '승인 피로' 현상이 나타나 오히려 검토 효과가 떨어질 수 있다.