今のAIは、データセンターと常時の電力供給があって初めて動く、というのが当たり前になっている。その前提に小さく異を唱えるのが、Squeez Labsが公開した「CrankGPT」だ。手回し発電機だけを電源に、Raspberry Pi 5の上で音声アシスタントを動かす。バッテリーもクラウド接続もなく、ハンドルを回している間だけAIと会話できる。省電力なAIがどこまで可能かを試した実験だ。
心臓部は、8GBメモリーと冷却ファンを載せた標準的なRaspberry Pi 5。音声の入出力にはKEYESTUDIOのReSpeaker 2-Mic Pi HATを使う。電源には、非常用のUSB充電向けに売られている20Wの手回し発電機をそのまま採用した。ただRaspberry Pi 5は電圧が4.8Vを下回ると止まってしまい、AIの処理中に瞬間的な5Aの電流が流れると、発電機の保護回路が働いて電源が一瞬落ちる問題に直面した。
解決策が自作のコンデンサー基板だ。発電機の出力をならし、20秒ほど電力をためる緩衝材として働く。これでハンドルを回す手を少し休めても処理が止まりにくくなった。消費電力は処理の中身で変わり、待機時で約4W、音声認識で約8W、言語モデルと音声合成を同時に走らせると最大15W程度に達する。推論と音声合成が重なると、ハンドルが目に見えて重くなるという。
ソフトウェアも、非力なハードウェアで会話を成り立たせるために細かく詰めている。OSには起動の速いDietPiを選び、Bluetoothやネット接続を切って、電源を入れてから使えるまでを約30秒に縮めた。音声認識のMoonshine、音声合成のPiperと、CPUだけで素早く動くモデルをそろえ、言語モデルはllama.cpp上でLiquid AIのLFM2やGoogleのGemma 3 1Bを使い分ける。応答が返り始めるまでは、最も軽い構成で約0.8秒だ。
Squeez Labsは、洗練されたAIをRaspberry Piだけで動かすのは難しいとしつつ、大きな電力を使わず端末側で動かせるAIには手つかずの用途が広いと結論づける。モデルが小さく効率的になれば、AIが動く場所は高価な最新スマートフォンから、より小さく安価な機器へ移っていくという見立てだ。
