ARゲームといえばスマートフォンやヘッドセットが前提になりがちだが、ESP32-CAMとわずかな部品だけでARシューティングゲームを作り上げた人物がいる。クラウドサービスもAIモデルも使わず、マイコン上でリアルタイムにコンピュータービジョン処理を動かしている。
HJWWalters氏が制作した「Augmented Reality Target Shooting Game」は、カメラが捉えた実際の映像にターゲットを重ねて表示し、銃型のコントローラーで撃つシューティングゲームだ。ルールは単純で、10発の弾でポップアップするターゲットを撃ち、スコアを記録する。
技術的に注目すべきは画像処理のアプローチだ。ESP32-CAMのOV2640カメラで取得したグレースケール映像に対し、ガウシアンぼかしとラプラシアンエッジ検出のカーネル畳み込みをリアルタイムで実行する。検出されたエッジの中から最長のものを見つけ、その中心座標を「注目点」として特定する。ターゲットはこの注目点にスポーンし、カメラ映像の風景に合わせて配置される。
トリガーを引くと、照準の中心座標と注目点の座標から距離を計算してスコアを算出する。風や重力の補正はなく、弾は常に照準の真ん中に着弾する設計だ。
表示にはGC9A01の1.28インチ円形TFTディスプレイ（240×240ピクセル）を使う。制作者は以前からESP32-CAMとGC9A01の組み合わせで50FPS超のリアルタイム映像表示を達成しており、そこにエッジ検出やモーショントラッキングの実験を重ねてきた。2025年6月から約8か月にわたる一連の実験の集大成がこのゲームだ。
筐体は3DプリントしたガンシェイプのケースにESP32-CAMとディスプレイを収め、LiPoバッテリーで駆動する。FTDIアダプターを使ったファームウェア書き込みに対応し、ブートモード切替スイッチも備える。ソースコードと回路図はブログで公開されている。
ESP32のデュアルコアを生かし、カメラ取得と画像処理を別コアに分担させることで処理速度を確保している。外部のAPIやサーバーに依存せず、約1000円程度のマイコンボード単体でARゲームを成立させた設計は、組み込みコンピュータービジョンの可能性を示す好例だろう。
関連情報
Augmented Reality Target Shooting Game using an ESP32-CAM（HJWWalters）
