텐서 병렬화

하나의 거대한 신경망 레이어(행렬 연산)를 여러 개의 조각으로 쪼개어 여러 개의 가속기(GPU)에 나누어 계산하고 결과를 다시 합치는 병렬화 기법을 말한다.

모델 하나가 가속기 하나의 메모리 용량을 넘어서면, 데이터 병렬화처럼 모델 전체를 여러 장비에 복제하는 방식만으로는 학습이나 추론 자체가 불가능해진다. 텐서 병렬화는 이 문제를 레이어 내부에서 해결한다. 예를 들어 어텐션이나 피드포워드 레이어의 가중치 행렬을 행 또는 열 방향으로 잘라 각 가속기가 부분 행렬 곱을 계산하게 하고, 필요한 시점에 all-reduce나 all-gather 같은 통신 연산으로 부분 결과를 합쳐 다음 레이어로 넘긴다. 실무에서는 대규모 언어모델을 여러 GPU에 걸쳐 서빙하거나 학습시킬 때, 파이프라인 병렬화·데이터 병렬화와 함께 조합해 사용하는 것을 흔히 볼 수 있는데, 특히 GPU 간 통신 대역폭이 큰 노드 내부(같은 서버 안)에서 적용해야 성능 저하가 적다. 노드 간처럼 통신 지연이 큰 환경에 텐서 병렬화를 그대로 적용하면 레이어마다 발생하는 통신 오버헤드 때문에 오히려 속도가 크게 떨어질 수 있다는 점이 자주 간과되는 주의점이다.