Microsoft Azure mengumumkan klaster superkomputer baru, Seri VM NDv6 GB300, yang ditenagai oleh sistem NVIDIA GB300 NVL72 OpenAI, yang dirancang khusus untuk tugas-tugas inferensi AI tingkat lanjut. Klaster ini memiliki lebih dari 4.600 GPU NVIDIA Blackwell Ultra yang saling terhubung melalui platform jaringan NVIDIA Quantum-X800 InfiniBand. Kolaborasi antara Microsoft dan NVIDIA, yang berfokus pada pengembangan inovasi di Amerika Serikat, telah berkontribusi signifikan dalam membangun infrastruktur AI yang mampu menangani beban kerja AI yang paling menantang sekalipun.

Inti dari Seri VM NDv6 GB300 adalah sistem NVIDIA GB300 NVL72, yang mengintegrasikan 72 GPU NVIDIA Blackwell Ultra dan 36 CPU NVIDIA Grace ke dalam satu unit. Konfigurasi ini menyediakan memori berkecepatan tinggi sebesar 37 terabyte dan kinerja FP4 Tensor Core sebesar 1,44 exaflop per VM, yang penting untuk mengelola model AI yang kompleks. Platform NVIDIA Blackwell Ultra menunjukkan kemampuan pelatihan dan inferensi yang luar biasa, sebagaimana dibuktikan oleh kinerjanya dalam benchmark MLPerf Inference v5.1.

Untuk mencapai hal ini, klaster Microsoft Azure menggunakan arsitektur jaringan NVIDIA dua tingkat. Di dalam setiap rak, fabric switch NVIDIA NVLink menyediakan bandwidth 130 TB/dtk, yang memungkinkan GPU berfungsi sebagai akselerator terintegrasi. Untuk komunikasi antar-rak, platform NVIDIA Quantum-X800 InfiniBand menyediakan bandwidth 800 Gbps per GPU, memastikan komunikasi yang efisien di seluruh klaster. Sistem ini juga memanfaatkan fitur-fitur canggih seperti perutean adaptif dan NVIDIA SHARP v4 untuk meningkatkan efisiensi pelatihan dan inferensi skala besar.

Pencapaian ini menandai kemajuan besar dalam infrastruktur AI, karena Microsoft Azure berencana untuk menerapkan ratusan ribu GPU NVIDIA Blackwell Ultra. Penerapan klaster ini merupakan langkah menuju masa depan AI, dan membuka pintu bagi lebih banyak inovasi yang akan datang melalui kemitraan dengan organisasi seperti OpenAI. Baca selengkapnya tentang perkembangan ini di blog Microsoft Azure .