Categories: ニュース

MIT、AIが長い文章の「話の流れ」を追えるようになる新技術を開発——生成AIの弱点克服につながるか

MITとMIT-IBM Watson AI Labの研究チームが、ChatGPTなどに使われる大規模言語モデル（LLM）の弱点を克服する新技術「PaTH Attention」を開発した。長い文章を読んだとき、途中で状況が変わっても正しく理解できるようになる。NeurIPS 2025で論文が発表されている。

LLMには「長い文章の途中で状況が変わると混乱する」という弱点がある。たとえば小説で登場人物の関係が変化したり、契約書で条件が途中で更新されたりすると、AIは最新の状態を見失いやすい。プログラムのコードで変数の値が何度も書き換わる場面も苦手だ。

原因は、現在のLLMが単語の位置を「距離」だけで把握している点にある。「猫」と「箱」が4単語離れていれば、文脈に関係なく同じ処理をする。「猫が箱の上に座った」でも「箱が猫の上にあった」でも、位置関係の扱いは変わらない。

PaTH Attentionは、単語と単語の間にある文脈を「道のり」として捉える。単純な距離ではなく、途中でどんな言葉が出てきたかによって処理を変える仕組みだ。人間が文章を読むとき、前の段落で何が起きたかを踏まえて次の文を理解するのと似ている。

研究チームは7億6000万パラメータのLLMで検証を実施した。途中に紛らわしい情報が入っていても最新の指示を追跡するテストや、複数ステップの記憶テストで、従来手法を上回る成績を収めた。数万語の長文でも安定して動作することを確認している。

さらに、人間のように「古い情報を忘れる」機能も追加した。関連性の低くなった情報の重みを下げることで、長文理解や推論の精度が向上した。

論文の筆頭著者はMIT大学院生のSonglin Yang氏。シニアオーサーのYoon Kim准教授は「タンパク質やDNAの解析など、構造が重要な分野でも応用できる可能性がある」と述べている。