NVIDIA (Santa Clara) meraih hasil terdepan dalam MLPerf Inference v6.0, mencetak rekor performa baru di berbagai arsitektur model AI. GPU Blackwell Ultra-nya memberikan throughput tertinggi, sehingga total kemenangan kumulatif mencapai 291 sejak 2018. Ini mewakili sembilan kali lebih banyak kemenangan daripada gabungan semua pesaing lainnya.

Perusahaan tersebut menunjukkan peningkatan efisiensi yang signifikan melalui rekayasa full-stack dan optimasi perangkat lunak. Sistem GB300 NVL72 mereka meningkatkan kinerja DeepSeek-R1 sebesar 2,7 kali lipat dibandingkan dengan hasil awal enam bulan lalu. Peningkatan ini mengurangi biaya produksi token lebih dari 60%, memungkinkan operator pabrik AI untuk melayani lebih banyak pengguna secara efektif.

Sebanyak empat belas mitra mengirimkan tolok ukur pada platform NVIDIA, sebuah rekor baru, yang menunjukkan ekosistem global yang kuat. Pengajuan tersebut mencakup beban kerja yang baru ditambahkan, termasuk pembuatan video, model bahasa-visi, dan sistem rekomendasi generatif. Hasilnya menekankan fleksibilitas platform dalam menangani berbagai modalitas dan skenario penerapan yang kompleks.

NVIDIA meningkatkan throughput hingga jutaan token per detik menggunakan jaringan Quantum-X800 InfiniBand dengan 288 GPU. Mereka kini berkolaborasi dengan konsorsium MLCommons untuk mendefinisikan tolok ukur endpoint baru. Metrik yang akan datang ini bertujuan untuk memberikan gambaran akurat tentang layanan AI yang diterapkan dalam kondisi lalu lintas API dunia nyata.