NVIDIA menetapkan standar baru untuk performa AI dengan performa dominannya dalam benchmark SemiAnalysis InferenceMAX v1 terbaru. Benchmark ini, yang pertama mengukur total biaya komputasi di berbagai model dan skenario, menunjukkan bahwa platform Blackwell NVIDIA memberikan performa dan efisiensi terdepan di industri. Pencapaian ini sangat penting bagi pabrik AI, di mana ekonomi inferensi menjadi semakin penting.

Sistem GB200 NVL72 milik perusahaan menunjukkan laba atas investasi (ROI) yang impresif, mengubah investasi sebesar $5 juta menjadi pendapatan token sebesar $75 juta. ROI 15 kali lipat ini dengan jelas menunjukkan dampak ekonomi dari solusi AI NVIDIA. Lebih lanjut, optimasi perangkat lunak B200 secara signifikan mengurangi total biaya kepemilikan (TCO), dengan biaya gpt-oss hanya 2 sen per juta token, seperlima dari biaya sebelumnya.

Sistem B200 NVIDIA juga unggul dalam throughput dan interaksi, mencapai 60.000 token per detik per GPU dan mempertahankan 1.000 token per detik per pengguna di gpt-oss. Hasil ini dimungkinkan oleh tumpukan NVIDIA TensorRT-LLM terbaru, yang dirancang untuk memenuhi permintaan inferensi kompleks yang terus meningkat dalam aplikasi AI. Wakil Presiden NVIDIA, Ian Buck, menekankan pentingnya performa dan efisiensi dalam penerapan AI skala besar, yang mencerminkan komitmen perusahaan terhadap pendekatan tumpukan penuh.

Benchmark InferenceMAX v1 menunjukkan kepemimpinan NVIDIA dalam AI, yang terus mendorong inovasi melalui optimasi desain perangkat keras dan perangkat lunak bersama. Fitur arsitektur Blackwell seperti format presisi rendah NVFP4 dan NVIDIA NVLink generasi ke-5 berkontribusi pada kinerja superiornya. Dengan ekosistem yang tangguh dan fokus pada peningkatan berkelanjutan, NVIDIA berada di posisi yang tepat untuk membantu pelanggan beralih dari uji coba AI ke pabrik AI skala penuh, membantu mereka memaksimalkan ROI dan memonetisasi kinerja.