【エッジAI基礎 × eYs3D】AIの性能指標「TOPS」とは？

TOPS（Tera Operations Per Second）は、プロセッサが1秒間に実行できる演算回数を表す指標です。従来、科学技術計算や3Dグラフィックスなどの分野では、コンピュータの計算能力はFLOPS（Floating-point Operations Per Second）という浮動小数点の演算回数を表す指標が広く使われてきました。昨今のAI、特にディープラーニングでは、整数演算（特にINT8と呼ばれる8-bit精度）が多用されるため、整数演算の性能を評価する指標としてTOPSが用いられるようになりました。TOPS値が高いほど、プロセッサはより複雑なAIモデルを高速に処理できることを意味します。

エッジAIとは、デバイスやセンサーなどのエッジデバイス側で直接AI処理を行う技術です。これにより、データをクラウドに送信することなく、リアルタイムでの処理が可能になります。エッジAIの主なメリットには、次のようなことがあげられます。

• 低遅延：迅速な応答が求められるアプリケーションにおいて有効
• ネットワーク非依存：ネットワーク環境に依存せず、どこでもAI処理が可能
• 通信コストの削減：データの送受信にかかる費用を抑えられる
• プライバシー保護：データがクラウドに送信されないためプライバシー保護が可能

そして、エッジAIでは低遅延、リアルタイム性が求められるため、TOPS値は重要だと言えます。

エッジAIで高いTOPS性能が必要とされる分野として、自動運転車、スマートファクトリー、監視システムなどがあげられます。例えば、自動運転車は、リアルタイムで膨大なデータを処理し、瞬時に判断を下す必要があります。これらのシステムでは、リアルタイムで大量のデータを処理する必要があり、数十TOPSから数百TOPSの性能が求められますが、これにはGPU（Graphics Processing Unit）が適しています。GPUは、もともとはグラフィックス処理に特化したプロセッサでしたが、並列演算能力の高さからAI処理にも広く活用されています。

一方で、数TOPS程度の性能でも十分とされるシステムも存在し、NPU（Neural Processing Unit）が重要な役割を果たします。NPUは、AI推論に特化したプロセッサで、ニューラルネットワークの効率的な演算処理を行い、特定のタスクに特化することで、効率的にAI処理を行うことができます。以下のようなシステムでは数TOPSでも十分な見込みで、高いTOPS値を持つGPUよりも、消費電力やコストの面で有利なNPUの活用が期待されます。

eYs3D社のエッジAI SoCのeCV5546には以下などが内蔵され、数TOPS程度の性能でも十分とされるシステムに適しています。

• 最大4.6 TOPS（1GHz動作時）のNPUがAI推論を効率的に処理（OpenCLとOpenVXをサポート）
• 最大1.8GHzのクアッドコアCortex-A55がOSや汎用的な計算処理を処理
• 最大400MHzのCortex-M4がモーター制御をはじめとする制御アプリケーションを処理

eCV5546を用いたエッジAIプラットフォームXINK V2が提供されています。

TOPSはAIの処理性能を示す指標です。高いTOPS性能が必要なシステムは、GPUを用いて高度なタスクを処理します。一方、数TOPSの性能でも十分なシステムも存在し、それらにNPUを活用することで、消費電力やコストの面で効果的です。eYs3D社のeCV5546は、それらのお客様に最適なソリューションをご提供します。