트랜스포머

트랜스포머는 입력 시퀀스의 모든 토큰 쌍 사이의 관계를 어텐션 메커니즘으로 직접 계산하여 문맥을 파악하는 신경망 아키텍처를 말한다.

이전까지 널리 쓰이던 RNN·LSTM 계열은 토큰을 순서대로 하나씩 처리해야 해서 먼 거리에 있는 단어 사이의 관계를 학습하기 어렵고 병렬 연산도 어려웠다. 트랜스포머는 순환 구조를 없애고, 각 토큰을 쿼리·키·값 벡터로 변환한 뒤 쿼리와 키의 유사도로 가중치를 매겨 값을 조합하는 셀프 어텐션으로 이 문제를 해결했다. 여러 어텐션 헤드를 병렬로 두어 서로 다른 종류의 관계를 동시에 포착하고(멀티헤드 어텐션), 순서 정보가 사라진 만큼 포지셔널 인코딩으로 위치 정보를 별도로 넣어준다. 실무에서는 언어모델이나 이미지 생성 모델의 구조를 설명할 때, 또는 레이어 수·헤드 수 같은 아키텍처 하이퍼파라미터를 조정하거나 파인튜닝 전략을 논의할 때 이 개념을 직접 다루게 된다. 흔히 오해하는 점은 트랜스포머가 특정 하나의 모델을 가리키는 이름이 아니라는 것으로, 인코더만 쓰는 구조, 디코더만 쓰는 구조, 인코더-디코더를 함께 쓰는 구조 등 목적에 따라 다양한 변형이 존재한다.