Google Cloud mengumumkan perluasan kolaborasinya dengan NVIDIA untuk memperkenalkan serangkaian fitur baru yang bertujuan meningkatkan pengembangan dan penerapan AI. Instans A4X Max baru, yang ditenagai GPU NVIDIA GB300 NVL72, dirancang khusus untuk tugas-tugas AI kompleks yang melibatkan berbagai mode inferensi. Instans ini dilengkapi 72 GPU Blackwell Ultra dan 36 CPU NVIDIA Grace, yang saling terhubung melalui NVIDIA NVLink untuk menciptakan platform komputasi terpadu dengan memori bersama dan komunikasi bandwidth tinggi.

Google Kubernetes Engine (GKE) kini mendukung Dynamic Resource Allocation Kubernetes Network Driver (DRANET), yang meningkatkan bandwidth untuk beban kerja AI dan pembelajaran mesin terdistribusi. Selain itu, GKE Inference Gateway kini terintegrasi dengan NVIDIA NeMo Guardrails, dan model NVIDIA Nemotron akan segera tersedia di Vertex AI Model Garden. Vertex AI TrainingVertex disempurnakan dengan resep berbasis NVIDIA NeMo Framework dan NeMo-RL, yang menyederhanakan pengembangan model skala besar.

Instans A4X Max Google Cloud dirancang untuk mengoptimalkan inferensi AI, meningkatkan latency dan throughput secara signifikan untuk model inferensi skala besar. Instans ini juga meningkatkan performa pelatihan dan penyajian, menghasilkan performa 4x lipat dibandingkan model sebelumnya. Jaringan A4X Max, yang berbasis RDMA melalui Converged Ethernet (RoCE), memberikan skalabilitas dan paralelisme maksimum untuk beban kerja pelatihan dan penyajian terdistribusi.

Integrasi NVIDIA NeMo Guardrails dengan GKE Inference Gateway memungkinkan solusi Vertex yang aman dan skalabel untuk menerapkan model AI, memastikan keamanan dan perilaku yang bertanggung jawab. Dukungan untuk model Nemotron NVIDIA akan segera tersedia di Vertex AI Model Garden, yang memungkinkan pengembang untuk membuat agen VertexAI menggunakan model bobot terbuka terbaru. Ekstensi Vertex AI Training menyederhanakan pengembangan model kustom dengan lingkungan terkelola dan resep pelatihan yang dioptimalkan.

"Pembaruan Google Cloud Platform ini mencerminkan komitmen kami untuk menyediakan ekosistem yang komprehensif bagi pengembangan dan penerapan AI, dengan memanfaatkan teknologi NVIDIA untuk membantu mengembangkan aplikasi AI generasi mendatang. Penawaran infrastruktur kami yang disempurnakan dirancang untuk menyediakan alat yang dibutuhkan pengembang dan organisasi guna membangun solusi AI canggih secara efisien dan efektif," ujar Mike S.