eYs3Dマイクロエレクトロニクス社｜コンピュータービジョン技術
eYs3D社は、ステレオカメラモジュールと制御するASICを提供しています。
ここでは、eYs3Dのコンピュータービジョン技術について簡単に説明します。
商品基礎情報
eYs3Dのコンピュータービジョン技術
人工知能と機械学習の時代に、コンピュータービジョン技術を実現するためのシリコン中心の製品を提供することに努めています。eYs3Dマイクロエレクトロニクス社は、3Dステレオビジョン技術に特化しています。 マイクロプロセッサーに組み込まれた最先端の深度エンジンにより、深度認識のパフォーマンスを飛躍的に向上させています。
人間のようなコンピュータービジョン
例えばeYs3DのeSP876プロセッサーは、優れたステレオの深度とコンピュータービジョンを実現します。このアプリケーション専用ICは、ISPとUSBコントローラー機能を組み合わせたコスト効率の高い方法で、最大60 FPSのHD深度マップ出力の専用リアルタイム処理を提供し、柔軟なカメラのカスタマイズやキャリブレーションをサポートします。
環境に大きく依存する個々のコミュニケーションやインタラクションを必要とするアプリケーションでは、多くの環境情報を取り込むために、より大きな視野を確保することが重要です。しかし、より大きな視野を2D画像に投影するためには、かなりの広角レンズや魚眼レンズを搭載したカメラから得られる画像の歪みを補正するための画像補正機能を導入する必要があります。歪曲収差補正は、ソフトウェアによる解決では多くの計算能力を必要としますが、eYs3Dでは、ICに歪曲収差補正エンジンを実装することで、他のソフトウェアベースのアプリケーションに多くの計算能力を割くことを可能にします。
eSP876 HD Depth Processor
- Real-time HD (720p) video and depth map@60fps
- Dual MIPI Input: 4 lanes MIPI CSI-2 x2 channels or parallel x2 channels
- USB or MIPI Outputs: 1080P@60fps or 720P@120fps through USB 3.1 Gen1 Interface or 2 lanes MIPI (CSI-2 Tx)
- Image Signal Processing support
- Low power consumption (< 1.1W)
- Nature light or IR assistant for indoor and outdoor
- Flexible baseline for optimum working distance
- Small footprint package: BGA-248
eSP876U Chip Block Diagram
深度とは？
カメラシステムは、”3D”の世界を”2D”の画像平面に投影します。つまり、投影の際に次元の減少が起こり、その次元の情報が失われます。この失われた情報が “深度”です。深度情報がなければ、2D画像から3Dシーンを再構築する際に本質的な曖昧さが生じます。
深度情報は、新しいアプリケーションにおいて重要な役割を果たします。拡張現実（AR）では、基本的な問題は、3D空間にオブジェクトを配置して、その方向、スケール、および遠近を適切にキャリブレーションすることです。深度情報は、このようなプロセスに不可欠なのです。また、深度情報を必要とするアプリケーションとして、ロボティクスがあります。ロボットが3D空間で物体を移動したり管理したりする際に、ロボットの制御システムが自分自身や物体の軌道（静止位置、移動速度、加速度など）を適切な精度で推定し、それに応じてロボットが正しい反応をするためには、深度情報が不可欠な手がかりとなります。
ステレオビジョンの仕組み
ステレオビジョンの距離抽出は、ベースライン(B)と焦点面(f)が既知の2つのセンサー間の三角測量に基づいています。三角測量の重要なパラメーターである視差は、2つのセンサーの画像を処理（平行化とマッチングアルゴリズム）し、対応関係を抽出することで算出されます。
検出可能な最大の深度範囲は、ベースライン(B)とセンサーの解像度に比例します。最終的な深度分解能は、主にマッチングエラーとキャリブレーションエラーによって制限されます。
深度ビジョンとその可能性
3Dセンシング技術の全体像
ステレオカメラは他の技術より多くの利点があります。以下の表は、他の技術、ストラクチャード・ライト、ToFセンサーと比較して、アクティブ・カメラの利点を示しています。さらにAI画像処理により、多くのアプリケーションを可能にします。これは深度マップの使用例になりますが、例えば3つのカテゴリーのデータ構造を生成します。
1.深度配列は，風景画像の2次元配列に深度を格納します。2. 深度メッシュは、深度マップごとに生成されるリアルタイムの三角メッシュです。これはメモリや計算のオーバーヘッドが少なく利点があります。
3.深度テクスチャは、各フレームにおいて、ピクセル単位の深さのユースケースです。
| アクティブ・ステレオ | ストラクチャード・ライト | i-Time of Flight(ToF) | d-Time of Flight(ToF) | |
| ソフトウェア容易性 | High | Mid | Mid | Low |
| 部材コスト | Mid | High | Low | Low |
| コンパクト | Mid | Low-Mid | High | Very High |
| 奥行き精度 | High | High | Mid | Mid |
| 利点 | マーケット | 潜在性 | |
| アクティブ パッシブ ステレオ |
・広い視野（FoV) ・解像度 ・フレームレート ・範囲の柔軟性 ・高いデータレート ・不審物の検出 |
・低速モビリティ ・センサーフュージョンシステム ・広い視野(FoV)の奥行テクスチャ要求 ・深い奥行きアレイ のフレームレート要求 ・アイ・イン・ハンド・ロボットのAMR市場 ・MR/AR |
・アルゴリズムベースのソリューションをAIニューラルネットワークで統合可能 ・環境やユーザーシナリオへの高い適応性 ・AI技術の出現により、精度や全体のパフォーマンスを向上 |
ロボット掃除機
シーン理解/衝突回避/ナビゲーション/マッピング/深度認識
すべての哺乳類が2つの目を持っているのには理由があります。それは、立体視とは深度の認識を意味するからです。ステレオカメラを使用して、ロボット掃除機は進路上の障害物を見ることができます。障害物の位置や大きさを正確に推定し、ロボット掃除機は障害物の周りを迂回して走行します。ほとんどの障害物を確認し、忘れられたおもちゃやペットのボウル、置き忘れられたコーヒーカップなどを安全に回避します。
マーケット
ステレオカメラの応用分野は広く、数多くのマーケットが期待されています。ロボット掃除機、人間と協調して作業するロボット、配膳を行うロボット、自律走行搬送ロボット、ビデオ会議、顔認証等のアプリケーションに応用できます。これらはステレオカメラで画像処理を行うことで実現できている技術です。
