토큰

언어 모델이 텍스트를 처리할 때 사용하는 최소 단위로, 단어나 단어의 일부, 문장 부호 등을 가리키는 말이다.

언어 모델은 사람이 쓰는 문장을 그대로 이해하지 못하고, 계산 가능한 단위로 쪼개야 처리할 수 있다. 이때 문장을 잘게 나눈 조각을 토큰이라고 부르며, 하나의 단어가 통째로 토큰이 되기도 하고 접두사나 어미처럼 더 작은 단위로 나뉘기도 한다. 영어는 대체로 한 단어가 한두 개의 토큰으로 처리되지만, 한글은 자모나 음절 단위로 쪼개지는 경우가 많아 같은 글자 수라도 토큰 수가 더 많이 나올 수 있다. 실무에서는 API 요금이 토큰 수를 기준으로 매겨지거나, 모델이 한 번에 처리할 수 있는 입출력 길이가 토큰 수로 제한될 때 이 개념을 직접 마주치게 된다. 흔히 토큰을 단어와 같다고 오해하지만, 실제로는 모델과 언어에 따라 분절 방식이 달라 같은 문장도 토큰 수가 다르게 계산될 수 있다.