Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

言語モデル（LM）開発における最新の研究では、長文脈処理の限界に対処するための新たなアプローチが導入されました。広範な文脈を扱う際に効率性に課題を抱える従来のTransformerモデルとは異なり、エンドツーエンド定式化によるテスト時学習（TTT-E2E）と呼ばれるこの新しい手法は、LMの精度と速度の両方を向上させることを目指しています。TTT-E2Eは、次トークン予測を通じて文脈をモデルの重みに圧縮することで、長文脈においてもパフォーマンスを維持するという有望な結果を示しており、最近の研究で実証されています。

図1に示す研究結果によると、フルアテンションを用いたTransformerは精度に関しては優れたパフォーマンスを示すものの、コンテキスト長が長くなるにつれてレーテンシーが不足することが明らかになりました。一方、Mamba 2やGated DeltaNetのようなリカレントニューラルネットワーク（RNN）はレーテンシーを示しますが、精度に関してはそれほど優れていません。TTT-E2Eは、両方の分野で優れた性能を発揮する唯一の手法として浮上し、LMにおける長コンテキスト処理という長年の課題に対する潜在的な解決策を提供します。

TTT-E2Eは、レーテンシーを大幅に増加させることなく広範なコンテキストを処理できるため、人工知能分野におけるゲームチェンジャーとなる可能性を秘めています。この手法は、様々なコンテキスト長において一貫したパフォーマンスを示しており、近い将来、より効率的で効果的な言語モデル（LM）への道を開く可能性を示唆しています。研究チームは論文とコードを公開し、より広範なコミュニティが研究成果を探求し、発展させていくことを呼びかけています。

本研究では、人間の記憶とLM記憶の違いについても深く掘り下げ、膨大な経験を直感的な知識へと圧縮する人間の能力を浮き彫りにしています。この知見は、人間のような圧縮を模倣してLMの性能を向上させるTTT-E2Eの開発に活かされています。学習段階でメタ学習を組み込んだこの手法の設計は、LMが長いコンテキスト内で予測情報をより適切に捕捉・活用するための基盤となります。メタ学習段階の最適化など、克服すべき課題は依然として残っていますが、研究チームはLMの将来に楽観的であり、この有望な技術をさらに発展させるための協力を奨励しています。