AWS, Trainium2에서 torchtitan으로 Qwen3 학습 가이드 공개

AWS ML Blog가 Trainium2 기반 trn2.48xlarge 단일 인스턴스에서 torchtitan으로 Qwen3를 학습하는 세 가지 방법을 소개했다. 첫 번째는 torchtitan의 Transformers v5 백엔드로 Hugging Face Hub의 AutoModelForCausalLM을 통해 safetensors를 직접 읽고 쓰는 방식, 두 번째는 config 설정만 바꿔 torchtitan 네이티브 Qwen3 구현을 쓰는 방식, 세 번째는 torchtitan-neuron 레시피의 NKI 기반 MoE 커널을 추가하고 커스텀 커널을 등록하는 방식이다. TorchNeuron이 Trainium을 PyTorch 네이티브 디바이스로 등록해 세 방식 모두 동일한 torchrun 실행 패턴을 공유한다. Qwen/Qwen3-4B-Instruct-2507 공개 가중치로 미세조정한 첫 학습 스텝 손실은 6.54, 무작위 초기화는 12.43으로 나타나 가중치 로딩이 정상 작동함을 확인했다고 밝혔다.