TOPSはAIの頭の回転の速さ

AIの普及とともに、PCやAIの性能を示す時に「TOPS」という単位を目にする機会が増えてきました。
例えば
「40TOPS以上のNPU搭載」
「エッジAIで処理性能130TOPSを達成」
「超省電力AIチップ、12.6TOPS/Wを実現」
といったものです。

TOPSは「Tera Operations Per Second」の略で、1秒間に何回演算できるのかを表します。Tera(テラ)はストレージ容量ではもうおなじみの単位ですが、10の12乗、「兆」に当たります。つまり1 TOPSというのは1秒間に1兆回の演算ができることを意味します。
TOPSは近年、AI処理性能を示す時に使われることが多くなってきました。

TOPSとFLOPS

これまではCPUやGPUの処理性能を表すときに「FLOPS」という単位が使われてきました。
FLOPSは「Floating-point Operations Per Second」の略で、1秒間に何回の浮動小数点演算を実行できるかを表します。主にスーパーコンピュータやハイパフォーマンスコンピューティング(HPC)の分野で用いられる性能指標で、科学技術計算や気象予測、シミュレーションなどの大規模な数値計算を必要とする用途で今日でも重視されています。
AI性能の指標としても一般的に使われ、例えば「AIスパコンは、エクサ(10の18乗)FLOPS級からゼタFLOPS級(1秒間に10の21乗回の浮動小数点演算を実行できる)に進化」といったニュースを見ることもあると思います。

TOPSが脚光を浴びる理由

ではなぜAIの性能指標としてTOPSが用いられることが多くなってきたのでしょうか。それはAIの内部の仕組みと大きく関わっています。AIの処理、特にディープラーニングや推論では主に整数演算が使用されます。TOPSは整数演算を含む広い演算を対象としており、一方のFLOPSは浮動小数点演算に特化しています。そのためTOPS の方がAI処理の性能をより適切に評価できるのではないかと言われるようになってきました。

例えばマイクロソフトが今年発売した「Copilot+ PC」は高度なAI技術を搭載したPCを定義したものですが、その要件としてハードウェアには40TOPSの性能を必要とすると記されています。このようにAIの性能指標としてTOPSが使われることが多くなっています。
CPUメーカー各社でもクアルコムのSnapdragon Xで45TOPS、AMDのRyzen AI 300 では50TOPS、インテルの次期Core Ultraでは全体で120TOPSといったように、TOPSでの性能指標でアピールすることが多くなっています。

まとめ

生成AIやAIアシスタントが広範な分野で活用されるようになり、クラウド側、端末ともAI処理のさらなる高性能・高速化が必要になっている現状を反映して、AI処理性能をより分かりやすく伝えてくれる指標であるTOPSに注目が集まっています。とはいえ従来のFLOPSも依然としてスーパーコンピュータやAIの処理性能の指標として重要なものであり続けるでしょう。

またTOPSはあくまでCPU、NPU(AIプロセッサ)、GPUといった処理システムの性能指標であり、実際のAIの処理性能には全体のシステム構造や通信速度、メモリ性能、LLM (大規模言語モデル)などさまざまな要因が関連してきますので、TOPSが高ければ単純にAIが賢いとは限らないので注意も必要です。とはいえTOPSは、AI時代のPCやスマホなどのカタログでスペックなどを比較する時の重要な指標となっていくことでしょう。