LGのスマートテレビ「WebOS TV」のAPIをリバースエンジニアリングし、Raspberry Pi上に構築したサーバーとAIエージェントを連携させることで、音声コマンドだけでコンテンツを再生できるシステムが公開された。リモコンを操作することなく、iMessage経由でAIエージェントに話しかけるだけで、テレビが自動的に該当するストリーミングアプリを起動して再生を開始する。
製作者のm1thil3sh氏は、LGのスマートフォンアプリ「ThinQ」のネットワークトラフィックをProxymanというツールで傍受し、デバイス検出とコマンド実行に使われているエンドポイントを特定した。WebOSがオープンソースであることを利用し、ドキュメントを調査した結果、デバイス検出にはSSDPとUPnP、コマンド送信にはSSAPプロトコルが使われていることを突き止めた。
Raspberry Pi上で動作するサーバーは、ローカルネットワーク上のテレビを検出し、認証と接続を維持する。このサーバーはMCP(Model Context Protocol)インターフェースを公開しており、AIエージェント「Poke」がiMessage経由で受け取った指示を処理する。ngrokトンネルを使ってPokeがリモートからサーバーにアクセスできる構成だ。
「新しいスパイク・リー監督の映画を再生して」と話しかけると、Pokeがストリーミングリンクを検索し、Raspberry Pi経由でテレビにコマンドを送信。テレビは適切なアプリを起動してコンテンツを再生する。WebOSの標準UIを経由しないため、広告や遅いメニュー操作を回避できる。
現時点では、検索結果から適切なURLを取得できない場合があること、Amazon Primeが異なるコンテンツID形式を使用していること、アプリ内のプロファイル自動ログインが未実装であることなどの制限がある。ソースコードはGitHubで公開されている。