NPU

신경망 연산에 특화된 전용 반도체로, 행렬 곱셈과 병렬 연산을 하드웨어 수준에서 가속해 CPU나 GPU보다 낮은 전력으로 딥러닝 추론을 처리하는 프로세서를 말한다.

딥러닝 모델은 대량의 행렬곱·합성곱 연산을 반복하는데, 범용 CPU는 이런 연산에 비효율적이고 GPU는 성능은 뛰어나지만 전력 소모가 커서 배터리와 발열 제약이 있는 모바일·엣지 기기에서는 부담이 된다. NPU는 곱셈-누산(MAC) 연산을 대규모 병렬로 처리하는 연산 유닛 배열과 저정밀도(INT8, FP16 등) 연산에 최적화된 데이터 경로를 갖춰, 같은 연산을 훨씬 적은 전력으로 수행하도록 설계된 전용 회로다. 스마트폰의 카메라 보정·음성인식·실시간 번역 같은 온디바이스 AI 기능이 NPU에서 실행되며, 노트북에서도 화상회의 배경 처리나 로컬 모델 추론을 가속하기 위해 탑재된다. 이런 제품에서는 'AI PC'라는 표현이나 'TOPS' 단위로 NPU 성능을 표시하는 경우가 많다. NPU가 GPU를 완전히 대체한다고 오해하기 쉽지만, NPU는 대개 추론에 특화된 구조라 대규모 모델 학습이나 유연한 범용 병렬 연산에는 여전히 GPU가 주로 쓰인다.