ESP32-S3はどこまで画像処理ができるのか——luismi_kode氏がOV2640カメラセンサーを使ったリアルタイムエッジ検出のデモをRedditで公開した。外部プロセッサーに頼らず、マイコン単体でSobelフィルターを適用してライブ映像から輪郭を抽出する。ソースコードはGitHubで公開されている。
エッジ検出は画像処理の基本的な手法で、物体の輪郭を抽出する。自動運転や産業用ロボットのビジョンシステムで広く使われているが、通常は高性能なプロセッサーが必要だ。luismi_kode氏は、安価なマイコンであるESP32-S3でどこまで処理できるか検証した。
使用したのはESP32-S3を搭載した「Kode Dot」（Kickstarterで展開中の製品）と、OV2640カメラセンサーだ。アルゴリズムにはSobelオペレーターを採用し、グレースケール画像バッファに適用している。
パフォーマンスを確保するため、解像度はQQVGA（160×120ピクセル）に抑え、フレームバッファを内部RAMに配置してアクセス速度を稼いでいる。低解像度ながらリアルタイムで動作し、処理結果は画面に直接表示される。
Redditのコメントでは、ESP32-S3のSIMD命令を使えばさらに高速化できるという指摘や、より高性能なESP32-P4への期待が寄せられた。luismi_kode氏自身も、OpenAIのVision APIにWi-Fi経由で接続する実験を進めているという。
応用例としては、動体検知、基本的な物体追跡、TensorFlow Liteを使った軽量な認識モデルなどが考えられる。コメントでは交通信号の車両検知や、ロボットのビジョンパイプラインへの応用を検討するユーザーもいた。
関連情報
Real-time Edge Detection on ESP32-S3 with OV2640（Reddit / r/esp32）
