TOPS

TOPS는 칩이 초당 몇 개의 AI 연산을 실행할 수 있는지 측정한다. 제조사는 NPU, GPU, SoC에 대해 이를 표기한다.

주의할 점

• 정밀도. INT8의 40 TOPS ≠ FP16의 40 TOPS. 낮은 정밀도가 더 많은 TOPS를 낸다.
• 희소성. "희소성 켜짐"은 0 가중치를 건너뛰어 이론적 TOPS를 두 배로 늘리지만, 실제 모델은 좀처럼 이론적 희소성에 도달하지 못한다.
• 지속 대 최대. 대부분의 표기 수치는 최댓값이며, 발열 한계 하의 지속 처리량은 더 낮다.

2026년에 중요한 이유

Windows Copilot+ PC는 온디바이스 Copilot 기능을 위해 ≥40 TOPS의 NPU가 필요하다. Apple Neural Engine은 약 35 TOPS다. NVIDIA의 모바일 RTX는 둘을 압도한다 — 200 TOPS 이상 — 하지만 훨씬 높은 전력에서다.

LLM 추론에서는 TOPS보다 총 메모리 대역폭이 먼저 병목인 경우가 많다.