Model AI baru, Nemotron 3 Super, telah diperkenalkan untuk meningkatkan kemampuan sistem multi-agen dalam aplikasi kompleks seperti pengembangan perangkat lunak dan keamanan siber. Model ini memiliki ukuran parameter total 120B dengan 12B parameter aktif, yang dirancang untuk memaksimalkan efisiensi komputasi dan akurasi. Model ini mengikuti peluncuran Nemotron 3 Nano dan bertujuan untuk mengatasi tantangan "ledakan konteks" dan "pajak berpikir" yang menghambat kinerja sistem multi-agen.

Nemotron 3 Super menggabungkan arsitektur campuran ahli (MoE) hibrida, yang secara signifikan meningkatkan throughput dibandingkan pendahulunya. Model ini memiliki jendela konteks 1 juta token, yang menyediakan memori jangka panjang bagi agen untuk mempertahankan keselarasan tujuan dan akurasi penalaran. Model ini tersedia secara terbuka, dengan bobot, dataset, dan resep yang dapat diakses, memungkinkan pengembang untuk menyesuaikan dan menerapkannya sesuai kebutuhan mereka.

Arsitektur Nemotron 3 Super mencakup beberapa inovasi untuk menyeimbangkan efisiensi dan akurasi. Model ini menggunakan Latent MoE untuk berkonsultasi dengan lebih banyak spesialis ahli tanpa meningkatkan biaya inferensi dan menggunakan prediksi Multi-token (MTP) untuk mengurangi waktu generasi untuk urutan yang panjang. Model ini juga mengintegrasikan tulang punggung Hybrid Mamba-Transformer untuk efisiensi urutan dan penalaran presisi. Selain itu, model ini dilatih sebelumnya menggunakan NVFP4 pada NVIDIA Blackwell, meningkatkan efisiensi memori dan kecepatan inferensi.

Nemotron 3 Super telah dilatih melalui proses komprehensif yang melibatkan pelatihan awal, penyempurnaan terawasi, dan pembelajaran penguatan multi-lingkungan. Rezim pelatihan ini memastikan pengetahuan dunia yang luas, pembentukan perilaku spesifik tugas, dan penyempurnaan hasil yang dapat diverifikasi di berbagai lingkungan. Model ini telah menunjukkan kinerja superior pada benchmark untuk agen otonom yang berjalan lama, seperti rangkaian uji PinchBench. Pengembang yang tertarik untuk menggunakan Nemotron 3 Super dapat mengakses berbagai sumber daya, termasuk titik pemeriksaan parameter lengkap, resep pelatihan dan evaluasi, dan buku panduan penerapan, untuk menyesuaikan dan mengoptimalkan model untuk kasus penggunaan spesifik mereka.