환각

AI 모델이 사실이 아니거나 근거 없는 정보를 마치 사실인 것처럼 자신 있게 생성하는 현상을 말한다.

언어 모델은 학습 데이터에 담긴 사실을 검색해 답하는 것이 아니라 확률적으로 그럴듯한 다음 단어를 이어 붙여 문장을 만들기 때문에, 실제로는 존재하지 않는 사실이나 출처를 만들어내는 문제가 생긴다. 모델은 자신이 틀렸는지 알지 못한 채 없는 논문이나 판례를 실제인 것처럼 유창한 문장으로 제시하기도 한다. 실무에서는 챗봇이 답하기 곤란하거나 학습 데이터에 없는 질문에도 그럴듯한 답을 지어낼 때, 코드 어시스턴트가 존재하지 않는 라이브러리 함수를 추천할 때, 문서 요약 중 원문에 없는 내용을 덧붙일 때 자주 나타난다. 흔한 오해는 모델을 더 크게 만들거나 프롬프트를 잘 쓰면 환각이 완전히 사라진다고 믿는 것인데, 근본 원인이 생성 방식 자체에 있어 검색 증강 생성(RAG)이나 답변 검증 단계를 덧붙여도 위험을 줄일 뿐 완전히 없애기는 어렵다. 따라서 사실 확인이 중요한 용도에서는 모델의 답을 그대로 신뢰하지 않고 출처를 대조하는 절차가 함께 필요하다.