NVIDIA mengumumkan Blackwell Ultra, platform komputasi berkecepatan tinggi baru yang dirancang untuk memenuhi permintaan inferensi AI yang terus meningkat, termasuk penskalaan selama pelatihan, pasca pelatihan, dan pengujian. Platform ini akan didukung oleh sistem NVIDIA GB300 NVL72, yang dilengkapi solusi skala rak berpendingin cairan yang menggabungkan 36 CPU NVIDIA Grace dan 72 GPU Blackwell Ultra. Sistem ini menawarkan bandwidth NVLink sebesar 130 TB/dtk yang mengesankan, menjadikannya sebagai solusi canggih untuk inferensi AI skala besar.

Platform Blackwell Ultra menjanjikan peningkatan kinerja inferensi AI yang penting untuk sistem AI multi-agen secara real-time dan inferensi konteks panjang. Blackwell Ultra Tensor Cores baru secara signifikan meningkatkan FLOPS komputasi AI, dengan model GB300 NVL72 menghadirkan AI FLOPS hingga 70x lebih banyak dibandingkan model sebelumnya. Peningkatan kinerja ini didukung oleh memori HBM3e hingga 288 GB per GPU dan memori koheren berkecepatan tinggi hingga 40 TB per rak untuk menangani model besar dan tugas kompleks secara bersamaan.

Untuk mengoptimalkan kinerja inferensi multi-node berskala besar, Blackwell Ultra dilengkapi konektivitas PCIe Gen6 dan NVIDIA ConnectX-8 800G SuperNIC yang menskalakan bandwidth jaringan hingga 800 Gb/s. Hal ini dilengkapi dengan NVIDIA Dynamo, perpustakaan sumber terbuka yang dirancang untuk meningkatkan layanan AI inferensi di seluruh node GPU. Integrasi dengan platform jaringan NVIDIA Quantum-X800 dan NVIDIA Spectrum-X memungkinkan pabrik AI dan pusat data cloud mengelola tuntutan beban kerja secara efisien yang ditentukan oleh tiga undang-undang penskalaan.

GB300 NVL72 dari NVIDIA diharapkan dapat meningkatkan output pabrik AI secara signifikan, dengan token throughput per detik per pengguna 10x lebih tinggi dan token throughput 5x lebih tinggi per detik per megawatt. Efek gabungan ini berpotensi meningkatkan kinerja output keseluruhan pabrik AI Anda sebanyak 50 kali lipat. Produk Blackwell Ultra diharapkan akan tersedia dari mitra pada akhir tahun 2025 dengan dukungan dari penyedia layanan cloud dan produsen server terkemuka.