NVIDIA mengumumkan checkpoint NVFP4 untuk model Nemotron 3 Ultra dengan 550B parameter, yang dirancang untuk meningkatkan throughput inferensi sambil mempertahankan akurasi yang mendekati versi BF16 asli dan secara signifikan mengurangi kebutuhan memori.

Perusahaan tersebut mengatakan bahwa checkpoint tersebut dibuat dengan NVIDIA Model Optimizer menggunakan teknik termasuk Four-over-Six scaling dan AutoQuantize. Model tersebut secara otomatis berjalan sebagai W4A4 pada GPU Blackwell dan W4A16 pada perangkat keras Hopper.

Alur kerja ini juga mendukung kuantisasi terdistribusi dengan Megatron-LM, mengurangi waktu kalibrasi di seluruh penerapan multi-GPU. Pengembang dapat menyesuaikan perilaku kuantisasi melalui resep YAML atau preset konfigurasi bawaan untuk berbagai kebutuhan penerapan.

NVIDIA menambahkan bahwa pipeline kuantisasi, resep sumber terbuka, laporan teknis, dan checkpoint NVFP4 tersedia melalui GitHub dan Hugging Face, memungkinkan pengembang untuk menerapkan proses yang sama pada model bahasa besar mereka sendiri.