【AI: Computer Vision】eYs3D XINKデモを動かしてみた②

前回と同じXINKデモ・セットを用いますがカメラは使用せず、入力画像はLinuxファイルシステム内のMP4やJPEGファイルを用います。メインボードでコンピュータービジョン処理された画像データは、サブボードを介して外部のHDMIモニターに出力されます。

まず、代表的な物体認識のAIモデルであるYOLO (You Only Look Once) のデモを見てみましょう。ターミナルにコマンドを入力するとデモが実行されます。MP4ファイル (出典: ABC Vehicles for Children(外部サイト)を再生しながら、その画像から認識した物体名とその確からしさをパーセントで表示します。

動画ではA～Zで始まる乗り物の紹介がされ、以下はその中からいくつかをピックアップしました。人・車・バス・トラック・飛行機・列車・ボート等の大まかな分類は、概ね正しく認識されました。その一方で、細かい車種の学習はされてなく、例えば、救急車・消防車・ゴミ収集車・キッチンカー等の大型車両は、全てトラックとして認識されました。

次に、3DDFA_V2 (Towards Fast, Accurate and Stable 3D Dense Face Alignment V2) と題される、3D視覚の顔の位置合わせのデモを見てみましょう。本デモのベースはこちら (外部サイト) になります。ターミナルにコマンドを入力するとデモが実行されます。人物写真 (出典: 無料の写真素材 ぱくたそ(外部サイト)) のJPEGファイルから顔を認識して、その顔の輪郭・目・鼻・口・眉の位置に目印をプロットします。

他にも様々な人物写真で試すと、多くの画像で目印が適切にプロットされました。その一方で、トレーニングデータの300W-LPには目を閉じた画像がほとんどないため、目を細めた画像では目の目印が正確ではないことがありました。また、目や眉の近くに被り物があったり、輪郭の近くに髪がかかると、それらの目印も正確ではありませんでした。

eYs3D社 XINKプラットフォームを用いて、YOLOを用いた物体認識と3D視覚の顔の位置合わせのデモ・アプリケーションをご紹介しました。
今回のデモでは、MP4やJPEGファイルを入力画像とした物体・顔認識となりますが、eYs3D社が持つカメラと組み合わせた実装も可能です。
ご興味のある方、XINKデモを見てみたい方はぜひご連絡ください。

【AI: Computer Vision】eYs3D XINK プラットフォームのご紹介

eYs3Dマイクロエレクトロニクス社｜コンピュータビジョン技術

eYs3D｜3Dデプスプロセッサー製品ラインナップ