토크나이저

토크나이저는 텍스트를 모델이 처리할 수 있는 최소 단위인 토큰으로 분리하고, 각 토큰을 숫자로 변환하는 도구를 말한다.

언어 모델은 문자열을 그대로 이해할 수 없고 숫자로 이루어진 벡터를 입력받아야 하기 때문에, 텍스트를 일정한 단위로 쪼개고 그 단위마다 고유한 번호를 매기는 과정이 먼저 필요하다. 토크나이저는 이 역할을 담당하며, 단어 전체를 하나의 토큰으로 다루기보다는 자주 등장하는 부분 문자열을 묶어 어휘 집합을 구성하는 방식을 주로 쓴다. 이렇게 하면 처음 보는 단어라도 알고 있는 조각들로 쪼개어 표현할 수 있어, 어휘 집합의 크기를 적당히 유지하면서도 대부분의 문장을 처리할 수 있다. 실무에서는 모델 API를 호출하기 전에 입력 텍스트가 몇 토큰인지 미리 계산해 처리 가능한 범위를 넘지 않는지 확인하거나, 사용량에 따른 비용을 예측할 때 토크나이저를 직접 사용하게 된다. 흔히 하는 오해 중 하나는 토큰 하나가 항상 한 단어에 대응한다고 생각하는 것인데, 실제로는 한 단어가 여러 토큰으로 쪼개지기도 하고 여러 글자가 한 토큰으로 묶이기도 하며, 언어나 모델에 따라 같은 문장도 토큰 수가 크게 달라질 수 있다.