NVIDIA telah aktif meningkatkan platform AI-nya untuk meningkatkan throughput token per watt, indikator kunci efisiensi biaya dalam operasi AI. Dengan mengoptimalkan sinergi antara GPU, CPU, jaringan, perangkat lunak, penyaluran daya, dan sistem pendingin, kami telah berhasil mengurangi biaya per juta token yang dihasilkan. Peningkatan ini akan sangat bermanfaat karena semakin banyak pengguna, dari konsumen individu hingga perusahaan besar, memanfaatkan AI untuk berbagai tugas.

Kemajuan NVIDIA juga meluas ke tumpukan perangkat lunaknya, yang telah disempurnakan untuk mengekstrak kinerja yang lebih tinggi dari platform yang ada. Strategi ini tidak hanya meningkatkan kinerja GPU NVIDIA, tetapi juga memperpanjang masa pakai infrastruktur yang telah digunakan oleh penyedia layanan cloud, cloud GPU, pembuat model, dan perusahaan.

Pembaruan terbaru pada tumpukan perangkat lunak inferensi NVIDIA telah memberikan peningkatan kinerja yang signifikan, terutama saat berjalan pada arsitektur NVIDIA Blackwell. Pembaruan ini, ditambah dengan fungsionalitas penuh dari tumpukan perangkat lunak, telah secara signifikan berkontribusi pada peningkatan kinerja DeepSeek-R1, model inferensi sparse mixture of experts yang canggih.

Platform rak NVIDIA GB200 NVL72, yang menampilkan 72 GPU NVIDIA Blackwell, menunjukkan komitmen NVIDIA untuk mengoptimalkan kinerja AI. Desain platform ini disesuaikan untuk model yang berbasis pada arsitektur MoE yang jarang, yang membutuhkan pertukaran data yang sering. Optimasi seperti akselerasi perangkat keras untuk format data NVFP4 arsitektur Blackwell dan penyajian terdistribusi lebih lanjut memanfaatkan arsitektur NVL72 dan teknologi switch NVLink untuk memberikan tingkat kinerja tertinggi untuk model seperti DeepSeek-R1.