가드레일

가드레일은 AI 에이전트나 LLM 시스템이 설계된 범위를 벗어난 위험하거나 부적절한 입력·출력·행동을 하지 못하도록 오케스트레이션 계층에 두는 제약 규칙과 검증 장치를 말한다.

LLM은 같은 입력에도 매번 다른 출력을 낼 수 있고, 에이전트는 외부 도구를 호출하거나 파일을 수정하는 등 실제 행동을 수행하므로 모델 자체의 학습된 성향만으로는 안전성을 보장하기 어렵다. 이 문제를 보완하기 위해 가드레일은 모델 바깥의 별도 계층에서 입력을 검사하고, 출력을 필터링하고, 도구 호출 전후에 정책 규칙을 적용하는 방식으로 동작한다. 예를 들어 에이전트가 특정 디렉터리 밖의 파일을 삭제하려 하거나, 민감정보가 포함된 응답을 생성하거나, 정해진 예산을 초과하는 API 호출을 시도할 때 가드레일이 이를 차단하거나 사람의 승인을 거치게 만든다. 멀티에이전트 오케스트레이션에서는 각 에이전트가 호출할 수 있는 도구와 권한 범위를 제한하는 형태로도 자주 쓰인다. 가드레일을 모델의 안전성 학습(얼라인먼트)과 혼동하기 쉬운데, 가드레일은 모델 내부가 아니라 시스템 외부에 추가되는 장치이므로 프롬프트 인젝션처럼 모델의 판단 자체를 왜곡시키는 공격은 가드레일만으로 완전히 막지 못할 수 있다.