「Arduino Uno用のケースを設計して」と声で頼むと画面に立体のケースが組み上がり、「印刷して」と続けるとBambu Labの3Dプリンターが造形を始める。NVIDIAの小型AIコンピューター「Jetson Orin Nano Super」の上で動く電子工作向けの音声アシスタントが「Jarvis on a Jetson」として公開された。作ったのは、GitHubでtruvv8の名で活動する開発者だ。
音声の聞き取り、受け答えを考える言語モデル、声の合成は、すべてJetsonの上で動く。Macは画面とマイク、スピーカー、カメラの役を受け持つ。作者が測った消費電力は、待機時で4.8W、答えている最中でも最大18.5Wだった。
できることは作業机の手伝いに絞っている。カメラにかざした抵抗の色の帯や、チップの刻印、マルチメーターの表示を読み取り、部品のピン配置を示す。LEDにつなぐ抵抗の値なども計算する。
作者がこだわったのは、小さな言語モデルに数字を考えさせないことだ。使うのは40億パラメーターの小型モデルで、計算は式を組んだプログラムが受け持ち、立体の形もテンプレートから作る。モデルが選ぶのは、どの道具をどの値で使うかだけになる。カメラの画像についても「帯の色だけ」「型番だけ」のように聞くことを絞り、答えをプログラムが解読する。作者はREADMEで、小型モデルは速いが間違えることもあるため、数字とピン配置、形はコードから出すと説明している。
画面に出たケースや歯車は、手の動きで回せる。2つの手のひらを広げると、部品がばらばらに分かれて組み立て図のようになり、作者はこれを映画『アイアンマン』風と表現している。「5mm高くして」「前にUSB-Cの穴を開けて」と声で直すこともできる。Jarvisは印刷を頼まれると、スライサーのOrcaSlicerでデータを作ってプリンターに送り、造形台が空いているかを尋ねて、「空いている」と答えたときだけ印刷を始める。
動かすには、Jetson Orin Nano Super（メモリー8GB）とMacが要る。プリンターに印刷を自動で始めさせるには、プリンター側でLAN限定モードと開発者モードを有効にする必要があり、有効にしない場合はデータを送るところまでで、印刷ボタンは手で押す。ソースコードはMITライセンスで公開されている。
