Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

ソフトウェア開発やサイバーセキュリティといった複雑なアプリケーションにおけるマルチエージェントシステムの能力を強化するため、新たなAIモデル「Nemotron 3 Super」が導入されました。このモデルは、120Bの総パラメータサイズと12Bのアクティブパラメータを誇り、計算効率と精度を最大限に高めるように設計されています。Nemotron 3 Nanoのリリースに続き、マルチエージェントシステムのパフォーマンスを阻害する「コンテキスト爆発」と「思考税」という課題を克服することを目指しています。

Nemotron 3 Superは、ハイブリッドなMixture-of-Experts（MoE）アーキテクチャを採用しており、前モデルと比較してスループットを大幅に向上させています。100万トークンのコンテキストウィンドウを備え、エージェントに長期記憶を提供することで、目標の整合性と推論精度を維持します。このモデルは公開されており、重み、データセット、レシピへのアクセスが可能であるため、開発者はニーズに合わせてカスタマイズして導入できます。

Nemotron 3 Superのアーキテクチャには、効率性と精度のバランスをとるための様々な革新技術が盛り込まれています。潜在MoE（Latent MoE）を用いることで、推論コストを増やすことなくより多くの専門家に相談し、マルチトークン予測（MTP）を用いることで長いシーケンスの生成時間を短縮します。また、このモデルは、シーケンス効率と高精度推論のためにハイブリッドMamba-Transformerバックボーンを統合しています。さらに、NVIDIA Blackwell上でNVFP4を用いて事前学習されているため、メモリ効率と推論速度が向上しています。

Nemotron 3 Superは、事前学習、教師ありファインチューニング、マルチ環境強化学習を含む包括的なプロセスを通じて学習されています。この学習計画により、広範な世界知識、タスク固有の行動形成、そして多様な環境における検証可能な結果の洗練が保証されます。このモデルは、PinchBenchテストスイートなどの長期実行自律エージェントのベンチマークにおいて優れた性能を示しました。Nemotron 3 Superの活用に関心のある開発者は、完全なパラメータチェックポイント、学習・評価レシピ、デプロイメントクックブックなど、様々なリソースにアクセスして、特定のユースケースに合わせてモデルをカスタマイズ・最適化できます。