Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

NVIDIA と Mistral AI は最近、さまざまなベンチマークでパフォーマンスの新たな基準を確立した大規模言語モデル (LLM) である Mistral NeMo 12B を発表しました。この成功を基に、両社は、9 つの主要なベンチマークでクラス最高の精度を誇る高度なオープン アクセス モデルである Mistral-NeMo-Minitron 8B のリリースを発表しました。Mistral-NeMo-Minitron 8B の開発には、より大きな Mistral NeMo 12B の幅プルーニングと呼ばれる手法が使用され、その後、知識蒸留を使用した再トレーニング プロセスが行われました。この方法は、NVIDIA Minitron 8B および 4B、Llama-3.1-Minitron 4B などの以前のモデルで検証されています。

モデルのプルーニングと蒸留のプロセスでは、モデルのサイズを縮小して、予測機能を大幅に損なうことなく、モデルをより効率的にします。 Mistral-NeMo-Minitron 8B モデルは、元のモデルの幅を選択的に削減し、その後、軽い再トレーニング レジメンを適用することで作成されました。このアプローチは効果的かつコスト効率が高いことが実証されており、最初からトレーニングしたモデルと比較して、高品質を維持する小規模なモデルの作成を可能にします。

LLM の競争環境において、Mistral-NeMo-Minitron 8B は、その優れたパフォーマンス メトリックによって際立っています。このモデルの精度は比較表で強調されており、Gemma 7B や Llama-3.1 8B など、同様のサイズの他のモデルよりも一貫して優れています。この表は、さまざまなベンチマークでモデルの優れたパフォーマンスを示しており、太字の数字は 8B モデル クラスの中で最高のスコアを示しています。

Mistral-NeMo-Minitron 8B のリリースは、言語モデルの進化における重要な一歩です。これは、構造化された重みの削減と知識の蒸留を組み合わせた有効性を示すだけでなく、この分野の将来の進歩の土台を築くものでもあります。このモデルの開発に使用された技術は、生成 AI 用の NVIDIA NeMo フレームワークに統合され、言語処理技術の機能がさらに強化されることが期待されています。ソース：