生成AIの言語モデルは、ふつう大きなデータセンターで動く。それを、数百円のマイコン1個の中だけで動かせるか。開発者のTilelliLab氏が公開したオープンソースの言語モデル「Atome LM」は、その問いに一つの答えを出した。ネットにもクラウドにもつながず、安価なマイコンの上だけで文章を生成する。
Atome LMは、944000個のパラメーターを持つ、極めて小さな言語モデルだ。一般的な生成AIが数十億から数千億のパラメーターを持つのと比べると、桁違いに小さい。その代わり、モデル全体が271キロバイトに収まり、外部メモリを持たない安価なマイコンにも載る。TilelliLab氏は、4メガバイトのフラッシュメモリを積むESP32-WROOM-32という、実売5ドル（約800円）ほどのボードで、完全にオフラインで文章を生成させた。速度は毎秒およそ1語だ。
小ささの鍵は、数値の持ち方にある。ふつうの言語モデルは、内部の重みを細かい小数で持つ。Atome LMは、これをマイナス・ゼロ・プラスの3つの値だけに切り詰める、3値化という手法を採る。これにより、推論のときに小数の掛け算をなくし、計算と容量を大きく減らせる。動かすためのプログラムも、無駄を省いた純粋なC言語で書かれ、その中核はわずか2.6キロバイトに収まる。
TilelliLab氏は、この成果の位置づけを率直に説明している。これは「動く」ことを実証するためのもので、速さや性能を競うものではないという。何でも答える汎用の対話AIでもない。1つの分野に絞って学習させればその範囲では流暢に答えるが、話題を広げると出力は崩れる。これはモデルの容量による限界だとしている。
Atome LMは、学習用のコードやC言語のエンジン、学習済みのモデルまで、Apache 2.0ライセンスで公開されている。パソコンとC言語、そしてマイコンを模した環境で、出力が完全に一致することも検証済みだ。
