【AI推論を高速化する】Google社Coral Edge TPU搭載AIアクセラレーターカード
ASUS IoTは多数の産業用コンピューター製品を提供するビジネスグループです。今回はエッジAI推論を可能にするCoral Edge TPUを複数搭載した初めてのPCI Express®拡張カードをご紹介します。本ページでは多数あるアクセラレーターカードの特長について、ご紹介します。
ML（機械学習）推論を並列化することで低遅延を実現
複数のAIモデルを同時に実行します。
複数のモデルを実行する必要がある活用シーンでは、各モデルを特定のEdge TPUに割り当てて並列実行することで、最高のパフォーマンスを発揮することができます。
AIモデル実行図
モデルパイプライン技術で機械学習のパフォーマンスを強化
高速応答や大規模モデルの実行が必要なアプリケーションでは、パイプライン技術を活用して、モデルを複数の小規模モデルに分割することができます。
パーティションと実行 : 小規模モデルをさまざまなEdge TPUで実行
高速応答 : 全体を高速化
遅延低減 : 大規模モデルの合計遅延時間を短縮
パイプライン技術の活用
小規模なデータセットで機械学習の成果を最大化
Edge TPUは、主にエッジでの推論のために設計されています。オンデバイストレーニングにより、事前にトレーニングされたモデルからAPIベースの転送学習を実行し、AI Accelerator PCIe Card上で直接、微調整されたモデルを取得することができます。
モデルの精度向上 : AI Accelerator PCIe Cardにより、エッジでの転送学習が可能となります。モデルの再トレーニングにサーバーやクラウドを使う必要はありません。
トレーニング時間の短縮 : 200枚以下の画像でモデルを最適化するため、ゼロから始める必要はありません。
小規模なデータセットで機械学習の成果を最大化
より少ないエネルギーで、より多くのことを
エネルギー効率を考慮して設計されたAI Accelerator PCIe Cardは、優れた熱安定性を備えており、複数のEdge TPUを使用して推論を高速化することができます。
低消費電力 : 36/52W (8/16 Edge TPU)
外部電源が不要 : 電源はPCIeスロットから直接供給されます。
エネルギー効率を考慮
AIアプリケーションのプロトタイプを数分で作成
AI Accelerator PCIe Cardは、AIのデモンストレーションやプロトタイプを短期間で構築するのを支援します。Node-REDと互換性のあるEdge TPU inference nodesと呼ばれるAI展開ビルダーを開発しました。このプログラミングツールを使えば、Edge TPUノードを使ってフローをワンクリックで簡単につなげることができます。プロトタイピングの段階で面倒なコーディングをする必要がなくなります。
直感的なプラットフォーム : ブラウザベースのグラフィカルなインターフェースで、コーディングの必要がありません。
操作が簡単 : 任意の機械学習ノードをドラッグ＆ドロップしてつないだら、すぐにデプロイできます。
データの可視化 : わかりやすく洗練されたダッシュボードで、 AI Accelerator PCIe Card の使用状況を監視できます。
AI展開ビルダーの活用
豊富な用途
ASUS IoTのAIアクセラレーターカードは製造業、小売、交通、監視などの様々な分野で活用することが可能です。
豊富な用途例
ワークフロー
●ASUS AI Accelerator PCIe CardでのAIモデル展開方法
TensorFlow Liteコンバーター : TensorFlowモデル（.pbファイル拡張子）をTensorFlow Liteモデル（.tfliteファイル拡張子）に変換します。
コンパイラ : TensorFlow Liteモデル(.tfliteファイル拡張子)をEdge TPU上で実行可能なファイルにコンパイルするコマンドラインツールです。
展開 : PyCoral API(Python)またはLibcoral API(C++)を介してAIモデルを実行します。
●機械学習モデルの要件
対応するMLフレームワーク : TensorFlow Lite
量子化 : テンソルパラメーターは量子化されています (8ビット固定小数点数; int8)。
ニューラルネットワークに対応 : CNN (Convolutional Neural Networks)。
モデル変換 : TensorFlowコンバーターツールでTensorFlowモデルからTensorFlow liteモデルへの変換。
ワークフロー図
製品ラインアップ
ASUS IoTが提供するAIアクセラレーターカードの詳細仕様を紹介します。
Google社Coral Edge TPU搭載PCIe AI アクセラレーターボード「CRL-G18U-P3DF」
CRL-G18U-P3DF
「CRL-G18U-P3DF」は、Google社の Edge TPUを8個搭載した、初めてのPCI Express拡張カードです。エッジAI推論を高速化する設計で、複数のAIアナリティクスを並列して実行することが可能です。低遅延を実現するAIモデルパイプライン技術を導入しており、高速処理を可能にしながら、わずか36～52Wの低消費電力です。TPUを16個搭載した「CRL-G116U-P3DF」もあり、必要なパフォーマンスに応じて、使い分けが可能です。
ASUS IoTの紹介
ASUS IoTはASUSTeK Computer Inc.社の一部門で、産業向け組込みハードウェアやソフトウェアの包括的ソリューションプロバイダーです。
完全に統合された効率的な製品化の開発ならびに総所有コストの削減に向けてお客様をサポートするために、ハードウェア、ソフトウェア、カスタマイズされたモノのインターネット（IoT）、および人工知能ソリューションの包括的なソリューションを提供いたします。