검색 증강 생성

대규모 언어모델이 답변을 생성하기 전에 외부 지식베이스에서 관련 문서를 검색해 프롬프트에 함께 넣어주는 기법을 말한다.

언어모델은 학습 시점 이후의 정보나 사내 문서 같은 비공개 데이터를 알지 못하는데, 이런 지식을 모델에 새로 학습시키는 파인튜닝은 비용과 시간이 많이 들고 내용이 바뀔 때마다 다시 학습해야 하는 부담이 있다. RAG는 모델 자체를 재학습하는 대신, 문서를 잘게 나눠 임베딩한 뒤 벡터 데이터베이스에 저장해두고 질문이 들어오면 의미상 관련된 조각을 검색해 답변 생성 시점의 프롬프트에 함께 넣어주는 방식으로 이 문제를 우회한다. 사내 위키나 매뉴얼을 기반으로 답하는 챗봇, 특정 제품 문서 범위 안에서만 답해야 하는 고객지원 봇, 계속 갱신되는 자료를 근거로 삼아야 하는 질의응답 시스템 등을 만들 때 실무에서 자주 쓰인다. 답변에 출처 문서를 함께 제시할 수 있어 결과를 검증하기 쉽다는 것도 장점으로 꼽힌다. 다만 검색 단계에서 관련 없는 문서가 뽑히면 아무리 성능이 좋은 모델이라도 엉뚱한 답을 내놓기 때문에, RAG 시스템의 품질은 모델보다 청킹 방식과 검색 정확도 같은 검색 파이프라인 설계에 좌우되는 경우가 많다는 점은 흔히 간과된다.