カーネギーメロン大学（CMU）Safe AI LabとBosch Center for AIの研究チームが、ヒューマノイドロボットが視覚だけでなく触覚の予測を組み合わせて精密な物体操作を習得する手法を開発した。論文は2026年4月14日にarXivにプレプリント公開された。筆頭著者はCMU博士課程最終学年のYaru Niu氏だ。
提案手法は「Humanoid Transformer with Touch Dreaming（HTD）」と名付けられたマルチモーダルのエンコーダ-デコーダTransformerだ。複数視点のカメラ映像と固有受容感覚（自己の姿勢・力センサー情報）に加え、触覚を3つ目の主要入力モダリティとして扱う。従来の行動模倣学習（行動チャンクの予測のみ）に対して、HTDは「タッチドリーミング」を付加する。タッチドリーミングとは、将来の手関節にかかる力と触覚潜在表現を同時に予測することで、モデルが接触の変化を先読みした表現を学習する仕組みだ。触覚の目標値は指数移動平均（EMA）エンコーダで生成するため、触覚センサーを別途事前学習する必要がない。データ収集にはVR遠隔操作と人間からヒューマノイドへの動作マッピングを組み合わせたシステムを使い、実世界のデモンストレーションデータを効率的に集めた。
5つの接触重視タスク（T字ブロック挿入・本の整理・タオル折り・猫砂スクーピング・両手でのお茶の配膳）での評価では、より強力なベースラインと比べて平均成功率が90.9%向上した。触覚信号を生の値で予測するよりも潜在空間で予測した方が有効であることも示されており、後者は成功率をさらに30%上乗せした。
人間が物を扱うとき、視覚だけでなく手のひらにかかる力の変化を無意識に先読みしながら姿勢と指の動きを調整している。HTDはそのメカニズムをロボットに組み込む試みであり、精密作業が求められる家庭用途や産業用ヒューマノイドの開発に向けた一つのアプローチを示している。なお本論文はプレプリントであり、査読を経たものではない。