Categories: 工作・開発

ウェブカメラ映像を極小OLEDにリアルタイム表示、顔追跡エフェクトも

met-Sander氏が、ESP32と128×64ピクセルのOLEDディスプレイを組み合わせて、PCのウェブカメラ映像をリアルタイムに表示する実験作品をr/esp32(Reddit)に公開した。コードはGitHubで公開されている。

設計の最大の特徴は、映像処理のすべてをブラウザ側で完結させている点だ。ウェブカメラの映像をブラウザが1ビット(白黒2値)に変換し、ディザリング(ドットのパターンで中間の明暗を表現する手法)などのエフェクトを適用してからESP32にWi-Fi経由で送信する。ESP32は受け取ったフレームをOLEDに表示するだけで、クラウドや独自サーバーへの通信は一切発生しない。

エフェクトは7種類あり、ストリーミング中にリアルタイムで切り替えられる。標準のディザリング・エッジ検出・グリッチの3種に加え、「skull(ドクロ)」と「SHODAN(SFゲームのキャラクター)」の2種はGoogle製の顔認識ライブラリMediaPipeを使い、カメラに映った顔の骨格を検出してその上にオーバーレイを重ねる。

128×64という極小の解像度でウェブカメラ映像をどこまで「読める」状態に保てるかを探る実験という位置付けで、作者本人はまだ具体的な用途を決めていないとしている。コメント欄では「吸盤で壁に貼りつければ、IPカメラの向きを1人で確認するのに使える」という提案が寄せられた。

関連情報

FabScene編集部

FabScene編集部