「Companion, TheCube」と名付けられた、Raspberry Pi 5を搭載した10cm角のキューブ型卓上アシスタントデバイスの開発が進められている。プライバシーを重視したオープンソースプロジェクトとして、近日中にKickstarterでの資金調達を予定している。
本デバイスは、4インチ720×720ピクセルのLCDタッチスクリーンを搭載し、音声対話機能を備えたデスク用のスマートデバイスとして設計されている。特徴的なのは、ローカルAIを優先的に使用し、クラウド機能はオプトインとすることで、ユーザーのプライバシーを保護する設計思想を採用している点だ。
モジュラー設計と拡張性
ハードウェア面では、最大16GB RAMを搭載可能なRaspberry Pi 5を中心に、mmWaveプレゼンスセンサー、ステレオマイク、内蔵スピーカーを搭載。mmWaveセンサーによりユーザーがデスクにいることを検出し、状況に応じた動作を可能にする。通信機能としてWi-Fi、Bluetooth 5.0、NFCに対応し、NFCは初期設定や拡張機能の追加に使用される。拡張ポートとしてI²C、SPI、UART、CAN bus、HDMI、CSI/DSIなどのインターフェースを備えており、GPIO経由での拡張も可能。USB-C給電に対応し、磁気スタッキング機能とアライメントナブにより他のモジュールと確実に組み合わせて使用できる。
モジュラーエコシステムとして、MiniCubesやWideCubesといった関連製品との連携も想定されている。また、3Dプリント可能なトッパーによるカスタマイズにも対応し、ユーザーが独自の外観を作成できる。
ソフトウェア面では、「TheCube-Core」と呼ばれるコアシステムが、Raspberry Pi OS Liteをベースに構築されている。C++で開発されたコアがJSON-RPC経由でアプリケーションと通信し、各アプリはサンドボックス化されてUnixソケット経由でコアと連携する。音声パイプラインは、OpenWakeWordによるウェイクワード検出から始まり、Whisper.cppによるローカル音声認識、インテント解析、TTS（テキスト音声合成）という流れで動作する。ディスプレイレンダリングにはSDL2を採用し、滑らかなアニメーションとキャラクター表示を実現する。
デバイスには個性設定機能が搭載されており、「遊び心」「共感性」「生意気さ」「真剣さ」「反応性」といったパラメータをスライダーで調整できる。キャラクターとして、好奇心旺盛な「Geo」、穏やかな球体の「Orby」、クールなデータ専門家「Prismo」、活発なコーギー犬「Byte」、愛らしい恐竜「Rawr」などが用意されている。
計画されているアプリケーションには、テトリスやパックマンなどのレトロゲーム、カレンダーやTo-Do、ポモドーロタイマーなどの生産性ツール、呼吸ガイドや水分補給リマインダーなどの健康管理機能、SMS・通話通知や音楽コントロールなどのコミュニケーション機能が含まれる。
プロジェクトはオープンソースとして開発されており、ほとんどのコードはMITライセンスで公開される。一部の依存関係についてはLGPLまたはApache-2.0ライセンスが適用される。開発チームは、C++、Python、Node.jsなどの開発者、ハードウェアハッカーやPCBデザイナー、3Dアーティスト、コミュニティビルダーなどの参加を歓迎している。
開発者によると、現在のプロトタイプは起動、ウェイクワード検出、音声認識、ディスプレイアニメーションの基本機能が動作している段階で、アプリエコシステムの開発を進めているという。最初の目標として、「Hey Cube」と呼びかけると音声をテキストに変換してコンソールに表示し、画面上にテキストバブルで応答を返す機能の実装を目指している。
プライバシー面では、すべての検出アルゴリズムをデバイス上で実行することが可能で、クラウドAIサービスの使用は任意となっている。クラウドサービスを使用する場合でも、データはサーバーに保存されず、ユーザーが同意した場合のみソフトウェア開発のためのデータ提供が行われる仕組みとなっている。
関連情報
関連商品（広告）
ポチップ
