컨텍스트 윈도우

컨텍스트 윈도우는 언어 모델이 한 번의 응답을 생성할 때 입력으로 참고할 수 있는 텍스트(토큰)의 최대 범위를 말한다.

모델은 사람처럼 대화 내용을 무한정 기억하는 것이 아니라, 한 번의 연산에서 처리 가능한 텍스트 양에 한계가 있어 이를 벗어난 내용은 아예 참고하지 못한다. 사용자의 질문뿐 아니라 이전 대화 기록, 첨부한 문서, 시스템 지시문까지 모두 토큰으로 환산되어 이 범위 안에 함께 담겨야 하며, 새 입력이 추가되어 한도를 넘으면 오래된 내용부터 잘리거나 요약되어 밀려난다. 긴 문서를 요약시키거나 여러 차례에 걸쳐 대화하며 코드 작업을 이어갈 때, 대화가 길어질수록 모델이 초반의 지시사항이나 앞서 나눈 내용을 갑자기 놓친 듯 답한다면 컨텍스트 윈도우 한도를 넘겼을 가능성이 크다. 이 때문에 실무에서는 긴 문서를 통째로 넣기보다 필요한 부분만 발췌하거나 검색 증강 생성(RAG) 방식으로 필요한 정보만 골라 넣는 방법을 함께 쓴다. 다만 범위가 넓다고 해서 그 안의 모든 내용을 똑같이 잘 활용한다는 뜻은 아니며, 중간에 위치한 정보를 놓치는 경우도 있다는 점은 흔히 간과된다.