エッジAI×ステレオカメラ「人物追跡・空間認識」ソリューション・デモ
目次
セキュリティ・セーフティ分野への応用シナリオ
今回のデモで試みている「立体的な位置把握」と「顔の向き」を掛け合わせた技術は、防犯・監視や工場の安全管理といった分野において、広く応用・流用が可能です。主なシナリオとして以下が挙げられます。
工場のセーフティ（安全確保）
機械が稼働する危険エリアへの侵入を検知するにとどまらず、作業員が「機械の方を向いて作業しようとしているか」「背を向けて離れようとしているか」までを特定。状況に応じた的確な安全制御への応用が考えられます。
重要施設などのセキュリティ（防犯）
管理区域において「特定のエリアにいる人物が、周囲の他の人物をじっと注視している」といった特定の挙動を自動で検知。監視員に通知するような、一歩進んだ監視システムへの流用が期待できます。
システム構成：eYs3D 社のトータルソリューション
先に挙げたような高度なシステムを、コストや開発の手間を抑えて実用化するには、ハードウェアの選定（システム構成）が重要な鍵を握ります。空間把握によく使われるLiDARやToFセンサーは、距離は測れても「どちらを向いているか」という方向までは判別できません。その解決策となるステレオカメラも、カメラとプロセッサを別々のメーカーから選ぶと、ドライバの相性問題やセットアップの手間に直面しがちです。これに対しeYs3D社は、エッジAIプラットフォームとステレオカメラの双方を自社ラインアップで一元提供している点が大きな特長です。
実際、今回のデモシステムは、PCを介さず、ステレオカメラからのUSB入力をエッジAIプラットフォームで処理し、HDMIモニターへ出力するシンプルな構成で実現しています。
XINK NANO: エッジAIプラットフォーム
eYs3D社のSoC「eCV5546」を搭載しており、YOLO等のモデルを用いた人検知や顔認証を、高速かつ低消費電力で実行します。
G100+: ステレオカメラ
eYs3D社のISP「eSP876」を搭載しており、2つのイメージセンサーによる視差で、深度情報を生成するカメラモジュールです。メインプロセッサに負荷をかけず、高精度なDepthデータをリアルタイムに出力します。
【デモ動画】「人物挙動・空間認識デモ」の概要
今回のデモでは、エッジAIによる骨格・向き検知と、ステレオカメラによる3D空間認識を融合させ、すれ違いや重複が起きる環境で検証を行いました。本デモの見どころは以下の通りです。
- 3D測距と方向の可視化
検知した人物をIDで識別して3D距離をリアルタイム測定。俯瞰図と顔から伸びる矢印によって、対象者がどちらを向いているかを可視化しています。 - 顔の向きの交差判定と遮蔽（オクルージョン）への耐性
相手の顔が自分を向いたことをロックオンマークで判別。手前と奥で人影に隠れる「重複」が起きても、ID番号を維持したまま追跡を継続します。 - 斜め交差のトラッキング
2人の軌跡が重なり合うような、斜めの交差であっても追跡が可能。エッジAIとステレオカメラを効率よく組み合わせた、空間認識アプリ例となります。
技術背景：eYs3Dプラットフォームで3D空間と方向を捉える仕組み
今回のデモシステムは、eYs3D社のエッジAIプラットフォームと、ステレオカメラの密な連携というシンプルなハードウェア構成で、人であることの認識、位置の特定、向いている方向の算出を同時に行っています。
顔パーツ連動の動的測距と全方位向き推定（距離をどこで測定するか）
YOLOv8-poseで検出した各パーツ（鼻・目・耳）の信頼度スコアに応じて測定点を動的に切り替え、その測定箇所を始点として顔の向きベクトル（右画像内の緑矢印）を算出しています。AIとステレオカメラの高精度な奥行き情報を融合させることで、後ろ姿や姿勢変化時にも周囲のノイズに惑わされず、正確な3D位置（Z座標）をリアルタイムに特定し続けます。
3D空間履歴を活かした軽量トラッキング（どう追跡するか）
YOLOv8-pose標準のBoT-SORTのような高負荷な2D特徴量マッチングは使わず、ステレオカメラから得られる3D位置情報の履歴を主軸として、ByteTrackのように軽い処理で追跡しています。対象が一時的に隠れても再出現時にIDを維持できるよう、エッジ環境でのリアルタイム動作と両立する記憶アルゴリズムを組み込んでいます（右画像内の青色ID: 1）。
360度向き推定とベクトル交差判定（どう空間を把握するか）
見えている顔パーツのわずかな検出スコアから、正面だけでなく後ろ姿まで含めた全方位の向きを推定しています。さらに、そこから得られた3D座標をもとに2者間の相対角度をリアルタイムに計算。「誰が誰の方を向いているか」というベクトル交差を処理してロックオン（右画像内の赤い的マーク）へと繋げ、高度な空間理解へのアプローチを試みています。
まとめ
エッジAIによる「人物や姿勢の特定」と、ステレオカメラによる「正確な位置や距離の測定」が組み合わさることで、システムコストを抑えながらも、一歩踏み込んだ空間・挙動理解の可能性が見えてきます。これまでの3回にわたるデモ検証が示すように、エッジAI×ステレオカメラの組み合わせは、様々な分野で新たなソリューションを実現する有効なアプローチとなります。エッジAIやステレオカメラの導入をご検討している方、デモを見てみたい方は、ぜひお気軽にお問い合わせください。
関連商品
eYs3D Microelectronics: 3DマシンビジョンとエッジAIで未来を拓く
【AI: Computer Vision】eYs3D XINKデモを動かしてみた
