ドラゴンボールに登場する戦闘力測定装置「スカウター」を再現したARグラスのプロジェクトがRedditで公開された。ESP32-CAMで撮影した映像をYOLO11で解析し、検出した物体の情報を透明ディスプレイに表示する。製作者にとって初めての本格的な電子工作プロジェクトだという。
システムはESP32-CAM、Arduino Nano、透明ディスプレイの3つで構成される。ESP32-CAMがカメラ映像を取得してPCに送信し、PC上ではFlaskサーバー経由でYOLO11による物体検出を実行する。検出結果はESP32に戻され、Arduino Nanoが透明ディスプレイへの表示を担当する。
製作者によると、購入した透明ディスプレイをESP32で直接制御しようとしたが、うまくいかなかったという。Arduino Nanoを中継役として使うことで、オンライン上で見つけたサンプルコードを活用できた。
表示モードは2種類ある。「カウントビュー」は選択したカテゴリの物体数を表示し、「レーダービュー」は検出した物体の位置を画面上にマッピングする。レーダービューでは、検出位置を画面サイズに変換し、中心からの距離を計算して矢印を表示する処理を実装している。
筐体はドラゴンボールZのスカウターを模した3Dプリント製だ。オンラインで見つけたモデルをFusion 360で編集し、ESP32-CAMや透明ディスプレイなどの部品を収めるスペースを確保した。
製作者は今後の改善点として、モバイルバッテリーではなく内蔵バッテリーへの変更、ESP32から透明ディスプレイを直接制御する方法の模索、エッジAIモデルをESP32上で動作させることを挙げている。現状ではPC上でYOLO11を実行しているため、スタンドアロンでの動作は実現していない。