Glossar
TOPS
Tera-Operations Per Second — eine marketingfreundliche Kennzahl für den Durchsatz von KI-Beschleunigern. Höher ist besser, aber die Operationspräzision (INT8, FP16, FP4) und Sparsity-Annahmen zählen ebenso viel wie die Zahl.
TOPS misst, wie viele KI-Operationen ein Chip pro Sekunde ausführen kann. Hersteller geben es für NPUs, GPUs und SoCs an.
Die Sternchen
- Präzision. 40 TOPS bei INT8 ≠ 40 TOPS bei FP16. Niedrigere Präzision ergibt mehr TOPS.
- Sparsity. „Sparsity-on“ verdoppelt die theoretischen TOPS durch Überspringen von Null-Gewichten, aber reale Modelle erreichen selten theoretische Sparsity.
- Anhaltend vs. Spitze. Die meisten angegebenen Werte sind Spitzenwerte; der anhaltende Durchsatz unter Temperaturgrenzen ist niedriger.
Warum es 2026 zählt
Windows-Copilot+-PCs erfordern eine NPU mit ≥40 TOPS für On-Device-Copilot-Funktionen. Apples Neural Engine liegt bei rund 35 TOPS. NVIDIAs mobile RTX stellt beide in den Schatten — 200+ TOPS — aber bei viel höherem Stromverbrauch.
Für LLM-Inferenz bildet die gesamte Speicherbandbreite oft den Engpass, bevor es die TOPS tun.
Wo das zählt
Categories that use tops
Weiterlesen