コーネル大学とKAIST（韓国科学技術院）の共同研究チームが、市販のAndroidスマートウォッチに搭載済みのスピーカーとマイクのみを使い、手の姿勢をリアルタイムで3D追跡するシステム「WatchHand」を開発した。論文は2026年4月13日からバルセロナで開催されるACM CHI 2026で発表される。
既存の手追跡デバイスは複数のスピーカーとマイクを精密に配置した専用ハードウェアを必要とするため、実用的なスマートウォッチへの統合が困難だった。WatchHandはこの課題を、ウォッチに内蔵された1基のスピーカーと1基のマイクで解決する。
仕組みはシンプルだ。スマートウォッチのスピーカーが人の耳には聞こえない周波数変調連続波（FMCW）を発し、手に反射して戻ってきたエコーをマイクで受信する。このエコープロファイルをウォッチ上で動作するディープラーニングモデルが解析し、20関節の指・手首の姿勢を3D空間でリアルタイムに推定する。すべての処理はウォッチ本体上で完結するため、データが外部に送信されることはない。
40人の被験者を対象に4つの実験を実施し、合計約36時間分のジェスチャーデータで評価した。異なるスマートウォッチ機種、右手・左手、騒音環境など多様な条件下で指の動きと手首の回転を安定して追跡できることが確認された。
現時点ではAndroidスマートウォッチのみ対応で、歩行中は精度が落ちるという制約がある。研究チームは将来的にはソフトウェアアップデートだけで既存の何百万台ものスマートウォッチに機能を追加できる可能性があると述べている。
応用先として、身体や発話に障害がある人向けの支援インターフェース、ARやVR環境でのコントローラー、スマートウォッチのみで入力を行う新しいヒューマンコンピュータインタラクションなどが挙げられている。