Categories: ニュース

ローカルPC上のLLMをM5Stackから利用、「AnythingLLM Module」の部品セットが発売

M5Stack CoreシリーズからローカルPC上で動作するLLM(大規模言語モデル)を利用できるモジュール「AnythingLLM Module」の部品セットが、スイッチサイエンスで委託販売されている。秋田純一氏が開発したもので、WiFiまたはUSB経由でOllamaなどのLLMサーバーに接続し、M5Stackから対話型AIを利用できる。

M5Stack LLM Moduleと同等の接続仕様

AnythingLLM Moduleは、M5Stack社の「LLM Module」と同等の接続仕様を持つ。M5Stackとの接続インターフェースが互換性を持つため、ソフトウェア的にはLLM Moduleとほぼ同様に扱うことができる。現時点ではText2Text機能のみが実装されている。

モジュールの中核となるのはM5StampS3Aで、WiFiまたはUSB経由でローカルPC上のLLMサーバーと通信する。LLMサーバーとしては現在Ollamaのみがサポートされており、WiFi接続時はOllamaの設定で「Expose Ollama to the network」を有効にする必要がある。USB接続の場合は、GitHub上で公開されているシリアル通信用のスクリプトを使用する。

スイッチサイエンスでは部品セットとして販売されており、M5StampS3Aは別売となっている。組み立て方法は2種類用意されている。1つ目はM5StampS3Aをリフローはんだ付けで直接基板に実装する方法、2つ目はピンヘッダ実装済みのM5StampS3Aとピンソケットを使用する方法だ。後者の場合、6ピンと9ピン(または8ピン)のピンソケット、およびMbusコネクタまたは2.54mmピッチの2列15ピンの低プロファイルピンヘッダが必要となる。

ファームウェアはGitHub上で公開されており、PlatformIOでビルドしてM5StampS3Aに書き込む。設定ファイルでPC等のローカルIPアドレス、WiFiのSSIDとパスワードを指定する仕組みだ。M5Stack Core側のサンプルプログラムも用意されており、シリアルモニタからテキストを入力することでLLMとの対話が可能となる。

GitHubリポジトリには、module_llm.checkConnection、module_llm.llm.setup、module_llm.llm.inferenceAndWaitResultといったLLM Module互換のAPIが実装されていることが記載されている。プログラム部分はOgawa3427氏が担当している。

このモジュールを使用することで、OllamaやLM Studioなどでローカル環境に構築したLLMを、M5Stackのコンパクトな筐体から利用できるようになる。クラウド上のLLMサービスに依存せず、プライバシーを重視したAI対話システムや、オフライン環境でのLLM活用など、新たな応用が期待される。

関連情報

AnythingLLM Module(部品セット)(スイッチサイエンス)

FabScene編集部

FabScene編集部