【筋音センシング】ジェスチャー・コントロール

CoolSo Technology社は新たなヒューマンインターフェースへ向けて、筋音センシングを利用したジェスチャー・コントロールにコアテクノロジーを持つ台湾のスタートアップ企業です。体に装着したモーションセンサの情報から筋肉の信号、筋音の生体信号抽出、また、ジェスチャーと筋力レベルの両方を認識するために、これら筋肉の動きを測定する様々な技術の特許を取得しています。
今回、ご紹介するCoolSo Technology社 ジェスチャー・コントール（以下、CoolSoジェスチャー）は、これらの特許技術を活かし、手首からの筋肉の振動から独自のAIモデルで処理し、素早い応答時間で指の動きと強度レベルを正確に認識する、ハンド・ジェスチャー・コントロールです。

現在はリストバンド型として手首の筋音をセンシングし、ハンド・ジェスチャー・コントロールの開発を推し進めていますが、筋音センシングは皮膚付近に筋肉がある腕、足、首などの部位でも認識ができるため、今後、筋音センシングを用いたバイオセンサは様々な活用も期待できます。

CoolSoジェスチャーはリストバンド型で手首の筋音信号から手の動き、指の動きを認識します。そのため、ジェスチャー・コントロールを実現するためにカメラなどの仰々しい装置などは必要とせず、手袋や障害物などを気にする必要もありません。XRシステムでの操作機器、ジェスチャーを利用したゲーム、ロボットなどの遠隔操作など、今後、成長していくアプリケーションでの活用が考えられます。

リストバンドには筋音を取得するためのモーションセンサとエッジデバイスでの生体信号(バイオシグナル）を抽出するためにマイコン処理を必要とします。しかし、CoolSoジェスチャー・ソリューションはソフトウェアで構成されており、特定のハードウェアは必要なく、一般的な高性能モーションセンサとARMマイコンなどで実現可能です。そのため、既存のスマートウォッチやリストバンドなどに最小限のシステム要件で導入でき、そのままジェスチャー・コントロール機能を搭載可能です。

アプリケーション構成

実際にCoolSoジェスチャーを搭載する場合のアプリケーション構成図を以下に記載します。
リストバンド側
　・モーションセンサで筋音や動作などを取得
　・ソフトウェア信号処理にて生体信号を抽出
デバイス側
　・生体信号をAIモデルで処理し、ジェスチャーを認識
　・アプリケーションへ接続

ジェスチャー・ボキャブラリー

CoolSoジェスチャーは実際にどのようなハンド・ジェスチャーを認識することができるのか。例として、デモキットで動作している、いくつかのジェスチャーを記載します。

デモキットには、ここに記載された以外のジェスチャーもあります。もちろん、モデル開発、学習していくことで新たなジェスチャーを認識させることも可能です。

ジェスチャー・コントロール方式について、CoolSoジェスチャとその他のセンシング方法について簡単に比較しました。

ジェスチャー・コントロール方式比較　 (ハンド・ジェスチャーとして）

このようにハンド・ジェスチャに焦点を当てると、CoolSo社ジェスチャーは多くの利点があります。
また、カメラやミリ波レーダーでハンド・ジェスチャーを認識させるには高度なアルゴリズムやモデル作りが必要ですが、CoolSoジェスチャーはすでにいくつものハンド・ジェスチャー認識モデルを確立しています。そして、リストバンド型は使用する人を選ばず、例えば子供でも大人でも同じように使用可能なため、いろいろな場面での活用や新たなアプリケーションの創造も期待されます。

CoolSoジェスチャーの評価キット Wizard Study Demoを実際に動かしてみました。様々なハンド・ジェスチャーでPC画面を操作します。

いかがでしたでしょうか？
実際に評価キットを動かしてみて、リストバンドの装着で指の動きまで認識することには驚きを感じました。筋音センシングは新たなセンシング方法として、今後、様々なアプリケーションで活用が期待されます。ご興味のある方、デモキットを見てみたい方はぜひご連絡ください。