추측 디코딩

작은 초안 모델이 다음에 올 토큰 여러 개를 먼저 예측하면, 크고 정확한 목표 모델이 이를 한 번의 순전파로 검증해 채택하거나 기각함으로써 생성 속도를 높이는 디코딩 기법을 말한다.

자기회귀 언어모델은 토큰을 한 번에 하나씩만 만들며, 매 스텝마다 전체 모델을 거쳐야 하므로 생성 속도가 모델 크기에 발목 잡힌다. 특히 디코딩은 연산량보다 메모리 대역폭이 병목인 경우가 많아, 토큰 하나를 위해 큰 모델을 통째로 호출하는 방식은 GPU 연산 자원을 제대로 활용하지 못한다. 추측 디코딩은 작고 빠른 초안 모델이 여러 후보 토큰을 미리 생성해 두면, 목표 모델이 그 후보들을 한 번의 순전파로 병렬 검증하고 확률 분포 비교를 통해 채택 여부를 정하는 방식으로 이 병목을 우회한다. 기각된 지점부터는 목표 모델이 직접 다음 토큰을 생성하며, 이 절차는 목표 모델 단독 디코딩과 동일한 출력 분포를 보장하도록 설계되어 있어 품질 손실 없이 속도만 끌어올린다. 실시간 응답이 중요한 챗봇이나 코드 자동완성처럼 지연 시간에 민감한 서비스에서 추론 최적화 수단으로 쓰이며, 별도의 초안 모델 대신 입력 텍스트 일부를 후보로 재사용하는 변형 기법도 있다. 다만 초안 모델의 예측이 자주 빗나가는 작업(자유로운 창작처럼 다음 토큰을 맞히기 어려운 경우)에서는 검증 실패가 잦아져 속도 향상 폭이 줄어든다는 점에 유의해야 한다.