大手 AI 研究組織である Anthropic は最近、影響関数を使用した大規模言語モデルの一般化の研究に関する画期的な記事を発表しました。この研究は、言語モデルの内部動作を明らかにし、その動作と機能についての貴重な洞察を提供することを目的としています。言語モデルの能力が増大し続けるにつれて、言語モデルがどのように機能するのか、またその出力にどのような要素が寄与しているのかを理解することがますます重要になっています。言語モデルの行動と道徳的自己修正に関する Anthropic のこれまでの研究では、これらのモデルがスケールアップして微調整されるにつれて、性格と行動に大きな変化が生じることがすでに明らかになりました。この新しい研究はトップダウンのアプローチを採用し、観察可能な行動と一般化パターンに焦点を当てて、根底にあるメカニズムを明らかにしています。十分に確立された統計手法である影響関数が、この研究の基礎として機能します。これらの関数は、個々のトレーニング サンプルがモデルの出力にどの程度寄与するかを決定します。各トレーニング例の影響を分析することで、研究者はモデルがトレーニング データからどのように一般化されるかについて洞察を得ることができます。たとえば、モデルの応答がトレーニング セットからのシーケンスの単なる組み合わせである場合、影響力のあるシーケンスはほぼ同一の思考で構成されます。一方、影響力のあるシーケンスがより抽象的なレベルで主題的に関連している場合、それはモデルがより高いレベルの概念または表現を獲得していることを示します。影響関数を研究する際の課題の 1 つは、計算コストです。トレーニング サンプルをデータセットに追加し、それがモデルのパラメーターに及ぼす影響を観察するという反事実シナリオを評価するには、法外な費用がかかります。しかし、Anthropic はこの課題を克服するための効率的なアルゴリズムを開発し、影響関数を最大 520 億のパラメーターを持つ大規模な言語モデルにスケールアップできるようにしました。Anthropic は研究を通じて、言語モデルにおける一般化の興味深いパターンを発見しました。モデルのサイズが大きくなるにつれて、一般化はより抽象的になります。たとえば、シャットダウンされていないことに関するクエリに対するモデルの応答を分析する場合、小規模なモデルの影響力のあるシーケンスは重複するトークンで構成されていましたが、より大きなモデルの場合、それらは概念的に関連しており、AI における生存本能や人間のような感情などのテーマが含まれていました。 。さらに、Anthropic は言語モデルの言語を越えた影響を調査しました。クエリを韓国語とトルコ語に翻訳すると、元の英語クエリの影響がモデルのサイズに応じてかなり強くなることが観察されました。この発見は、言語モデルの進化する機能と、多言語アプリケーションに対するその可能性を浮き彫りにしています。興味深いことに、この研究では、モデルの出力が純粋な暗記から得られるという概念の誤りも暴かれました。トレーニング データのごく一部が最も大きな影響を及ぼしますが、その影響は依然として拡散しており、モデルが単にトークン レベルで個々のトレーニング例を列挙しているわけではないことを示しています。影響関数は、スカラー値の影響スコアを提供するだけでなく、ニューラル ネットワーク内で影響がどのように分散されているかについての洞察も提供します。平均すると、影響力はネットワークのさまざまな層に均等に分散されます。ただし、特定のクエリの場合、影響はネットワークの特定の部分に局所化する傾向があり、最下層と最上層は詳細な文言情報を取得し、中間層はより抽象的なテーマレベルで一般化します。Anthropic の研究は、さらなる調査のための新たな道を切り開きます。このプロセスでは、予期せぬ結果をもたらす可能性のある追加の教師あり強化学習目標が導入されるため、影響関数を微調整に拡張することに特に興奮しています。影響を特定の層やトークンに局所化する機能は、影響関数を機構的解釈可能性に結びつける道も開き、研究者が特定の汎化パターンの原因となるニューロンや回路を決定できるようになります。影響関数を使用した大規模言語モデルの一般化に関する Anthropic の研究は、これらのモデルの内部動作を理解する上で重要な前進を示しています。この研究は、彼らの行動と能力を解明することにより、AI の予測と AI システムを人間の好みに合わせることに広範囲に影響を及ぼします。