手の動きをロボットにそのまま伝える——そのためのハードルは、思いのほか高い。人間の手には34の筋肉、27の関節、100を超える腱と靭帯が存在し、指1本の動きですら複雑な連携によって成り立っている。
MITの研究チームは2026年3月25日、この課題に対するアプローチを学術誌Nature Electronicsに発表した。超音波センサーを使ったウェアラブルリストバンドで手首内部の腱と筋肉をリアルタイムに撮影し、AIがその画像から手の姿勢を推定する仕組みだ。
デバイスの外観はスマートウォッチに近い。リストバンドには超音波ステッカーが組み込まれており、手首の皮膚に密着した状態で内部構造の連続撮影が可能になっている。オンボードのエレクトロニクスはスマートフォン程度の大きさで、データ処理から無線通信まで一体で担う。
研究チームで共同著者を務めるGengxi Lu氏は「手首の腱と筋肉は、指という人形を操る糸のようなもの。その糸の状態を撮影するたびに、手の状態が分かる」と説明する。
手は5本の指と手のひらを合わせて22の自由度を持つ。研究チームはまず、8人の被験者が様々な手のポーズをとりながら手首の超音波画像を収集し、複数カメラで記録した実際の手の姿勢と照合した。この対応関係をAIに学習させることで、超音波画像から手のポーズをリアルタイムに推定できるようになった。
検証では、アメリカ手話の26文字全て、テニスボール・ペン・ハサミなど日常的な物の把持動作を正確に識別できることを確認。さらに市販のロボットハンドに無線で接続し、被験者の手の動きをロボットがリアルタイムに追従する形でピアノの演奏とバスケットボールゲームを実演した。
カメラを使った既存の手追跡は遮蔽に弱く、センサーグローブは自然な動きを妨げるという課題がある。筋電図（EMG）を使った手法も研究が進んでいるが、環境ノイズの影響を受けやすく、微細な動きの識別が難しい。超音波によるアプローチはこれらの問題を回避し、より連続的かつ精細な動きの捕捉を目指している。
研究を率いるXuanhe Zhao氏はVR/ARへの即時応用を想定しており、ヒューマノイドロボットの学習データ収集への活用も見据えている。Zhao氏は今後、ハードウェアの小型化とより多様な被験者データによるAIの改良を進め、体格を問わず使えるデバイスへの発展を目指す方針だ。