【AI: Computer Vision】eYs3D XINK V2 プラットフォームのご紹介

eYs3D(アイズスリーディー) マイクロエレクトロニクス社 (以下eYs3D社) は、エッジAI向けの新しいプラットフォームXINK V2 (シンク Ver.2) の提供を開始しました。ここでは、XINK V2の構成やYOLOv8の物体認識デモをご紹介します。

XINKプラットフォームとは？

XINKプラットフォームは、サービスとしてのプラットフォームということだけでなく、コンピュータービジョン搭載製品の開発を効率的に推し進めるハードウェアとソフトウェアを組み合わせたソリューションです。ハードウェアとして、eYs3D社が開発するエッジAI向け高性能SoC (eCV5546) を搭載したモジュール (XINK) を提供し、ソフトウェアについてもcut-and-pasteでのコーディングも可能にしていくなど、コンピュータービジョンの実装を簡略化しています。

XINK V2の構成

XINK V2は小型BOX PCタイプのXINK V1よりも大きくなり、複数のUSBやMIPI CSIの入力など、様々なインターフェースの評価ができるようになりました。また、XINK V2にはeCV5546 Core Boardと呼ばれるSoM (System on Module) が搭載されています。Core Boardを使って評価から量産までを一貫して進められ、お客様は4層などで構成される低価格なIO基板やアプリケーションの開発に注力できます。

eCV5546 Core Board

eCV5546 SoC
-CPU : Quad-Core Arm^® Cortex^®-A55
-NPU : AI Processor
-MCU : Arm Cortex^®-M4
4 GiB LPDDR4 – 3200 MT/s
32 GiB eMMC – HS200

IO Board

USB
-USB2.0 HS Type-A x 4
-USB3.1 SS Gen1 Type-A x 4
-USB3.1 SS Gen1 Type-C x 1
-USB2.0 HS Type-C x 1：デバッグ用途
Ethernet RJ-45 1G x 1
MIPI CSI x 4：Raspberry Pi向けカメラ互換コネクタ
MIPI DSI x 2：Raspberry Pi / Forlinx Embedded向けディスプレイ互換コネクタ
HDMI x 1：MIPI DSI → HDMI変換IC経由
SD Card x 1：Micro SD Cardソケット
SDIO x 1：Wi-Fiモジュールコネクタ
Audio Codec x 1：マイク入力, スピーカー出力
GPIO x 22：SPI, I2C, UARTなどにも使用可能

　　
　　　※基板上のジャンパーを切り替えて使用し、全てのインターフェースを同時に使用できるわけではありません

YOLOv8を用いた物体認識のデモ

代表的な物体認識のAIモデルであるYOLO (You Only Look Once) のデモを見てみましょう。こちらはEdgeTech+ 2024展示会 (11/20~22開催) でも実施しました。

環境構築

eCV5546のIn-System Program機能を使って、YOLOv8が実装されたLinuxイメージを、USBメモリを介してeMMCに書き込みます。eMMCからLinuxがブートした後に、アプリの設定をしてリブートすると、デモが起動します。(ここでは実装手順の説明は割愛します。)

USBカメラ (eYs3D社のG100+ Depth Camera) から画像を入力しますが、このデモでは深度情報は使わずに、シングルRGB(YUV) 640 x 640 pixelを使用します。そして、XINK V2の処理結果をHDMIモニターから出力します。

動作結果

・顔認識：顔の特徴から登録済みの名前を表示　※緑枠の中を画像加工しています
・姿勢推定：認識した人の姿勢を線で描写
・セグメンテーション：物体検出した物を色分けして区分

なお、EdgeTech+ 2024では以下などのデモを行いました。これらのエッジAIアプリケーションにご興味のある方は、パネル資料をご覧ください。

YOLOv8による物体認識
ToFセンサーとイメージセンサーによるセンサーフュージョン
ToFセンサーとサーマルセンサーによるセンサーフュージョン
VLM (Vision-Language Model) による画像と音声の理解および言語の生成

資料DLはこちら

まとめ

eYs3D社のエッジAI向けの新しいプラットフォームXINK V2の構成や、YOLOv8の物体認識デモをご紹介しました。学習済みモデルをXINK V2で処理させることで、エッジAIのシステムが構築できます。XINK V2にご興味のある方、デモを見てみたい方はぜひご連絡ください。また、XINK V1のデモの記事もあわせてご覧ください。

eYs3D XINKデモを動かしてみた①：物体認識、人物追跡、スケルトン、深度イメージを同時に行うデモ
eYs3D XINKデモを動かしてみた②：YOLOを用いた物体認識と3D視覚の顔の位置合わせのデモ