AIが画面を見て、ポインターを動かしてタップする。人がiPhoneを触るのと同じやり方で、本物のiPhoneをAIに操作させる仕組みが「ESP32 iPhone Agent」として公開された。作ったのはHenry Yuan氏で、iPhone側に何もインストールせずに済む点を特長に挙げる。
READMEによると、iPhoneの自動化の多くはAppleのテスト用の仕組みを使う。その場合はMacとXcode、開発者アカウントが必要で、無料のアカウントでは署名が7日で切れる。
同氏の仕組みでは、iPhoneの画面をAirPlayの画面ミラーリングでパソコンに映す。操作には、iPhoneのUSB端子に挿したマイコンボード「XIAO ESP32S3」を使う。ボードはiPhoneからマウスとキーボードとして認識され、アクセシビリティ機能の「AssistiveTouch」をオンにすると、画面に丸いポインターが出る。ボードはWi-Fiでパソコンとつながり、「動かす」「クリック」「文字を打つ」といった短い命令をこなすだけだ。判断はパソコン側に任せ、画像を読めるOpenAI互換のAIモデルを使う。
同氏が工夫したのは、ずれの直し方だ。マウスの動きは「今の位置からどれだけ動かすか」で伝わるため、ポインターの位置は少しずつずれていく。そこでタップの前にポインターを小さく揺らし、映した画面の上で探して位置を直す。操作の後には画面が実際に変わったかを確かめてモデルに伝え、空振りしたタップを前提に次の操作を重ねないようにした。
デモでは、AIがホワイトボードのアプリにスマイルの顔を描き、時計のアプリで毎日7時に鳴るアラームを設定してみせた。
できないこともある。パスコードの入力やApple Payの画面はiOSがミラーリングしないため、AIには見えない。キーボードからの入力は英数字だけで、日本語は打てない。似た試みは他にもあり、同氏はREADMEで8つの事例と比べ、計画を立てる段階と、操作の前後に画面を確かめる点を違いに挙げている。
ボードは約7ドル（約1100円）で、USB-CのiPhoneには直接挿せる。Lightningのモデルにはカメラ用のアダプターが要る。パソコンはmacOSかLinuxで動き、ライセンスにはMITを採用した。同氏は、自分が持つ端末とアカウントだけで使い、作業中は見守るよう求めている。