NPU

NPU는 CPU나 GPU가 할 수 있는 것보다 훨씬 낮은 전력으로 ML 작업 부하를 실행한다. 스마트폰 NPU는 컴퓨테이셔널 포토그래피, 온디바이스 번역, 음성 인식 같은 기능을 배터리 소모 없이 상시 실행한다.

노트북에서

• Apple Neural Engine — M5 세대 38 TOPS.
• Qualcomm Hexagon (X Elite/X2) — 45~80 TOPS.
• Intel AI Boost (Lunar Lake / Panther Lake) — 48+ TOPS.
• AMD XDNA 2 (Ryzen AI 300/400) — 50+ TOPS.

무엇을 가능하게 하나

Windows Studio Effects(배경 흐림, 시선 맞춤, 자동 프레이밍)가 CPU/GPU 대신 NPU에서 실행되어 그것들을 생산적 작업에 비워둔다. macOS에서는 실시간 자막, 받아쓰기, 이미지 분할이 모두 Neural Engine에서 실행된다.

NPU 대 GPU

NPU는 와트당 더 효율적이고, GPU는 처리량이 훨씬 높다. 무거운 생성형 AI 작업 부하(Stable Diffusion, 대형 LLM)는 여전히 GPU를 선호한다.