TOPS

TOPSはチップが1秒間に何回のAI演算を実行できるかを測る。ベンダーはNPU、GPU、SoCについてこれを謳う。

注意点

• 精度。 INT8での40 TOPS ≠ FP16での40 TOPS。低い精度ほど多くのTOPSが得られる。
• スパース性。 「スパース性オン」はゼロの重みをスキップして理論TOPSを倍にするが、実際のモデルが理論的スパース性に達することはまれだ。
• 持続 対 ピーク。 謳われる数値のほとんどはピークで、熱の制限下での持続スループットは低い。

2026年に重要な理由

Windows Copilot+ PCはオンデバイスのCopilot機能に40 TOPS以上のNPUを要求する。Apple Neural Engineは約35 TOPS。NVIDIAのモバイルRTXは両者を圧倒する — 200 TOPS以上 — がはるかに高い電力でだ。

LLM推論では、総メモリ帯域幅がTOPSより先にボトルネックになることが多い。