Akhir tahun 2024 menyaksikan pengumuman serangkaian kemajuan dalam infrastruktur AI, termasuk peluncuran Trillium, TPU generasi keenam, dan A3 Ultra VM dengan GPU NVIDIA H200. Perkembangan ini juga memperkenalkan dukungan untuk kluster node berskala di Google Kubernetes Engine dan peluncuran Parallelstore, sistem file terdistribusi yang dirancang untuk komputasi performa tinggi dan beban kerja AI. Alat-alat ini diharapkan dapat meningkatkan kemampuan pengembang untuk menciptakan solusi AI.

Google juga memperkenalkan komputer hiper AI, sistem komprehensif yang menggabungkan perangkat keras yang dioptimalkan, perangkat lunak terbuka, dan model konsumsi yang fleksibel. Pendekatan ini memungkinkan pengembang untuk memilih berbagai komponen infrastruktur agar selaras dengan persyaratan beban kerja spesifik mereka, menyediakan platform serbaguna untuk mengembangkan solusi AI di Google Cloud.

Pembaruan mencakup ketersediaan umum VM A3 Ultra dan Hypercompute Cluster untuk mendukung beban kerja terdistribusi. Didukung oleh GPU NVIDIA H200, VM A3 Ultra menyediakan bandwidth dan memori jaringan GPU-ke-GPU yang lebih besar, sementara Hypercompute Cluster menyediakan platform layanan komputasi super yang menyederhanakan penerapan dan pengelolaan sejumlah besar akselerator.

LG Research telah mulai memanfaatkan layanan baru ini, dan Jiyeon Jung, insinyur infrastruktur AI senior di perusahaan tersebut, memuji peningkatan kinerja dan skalabilitas yang dihadirkan oleh VM A3 Ultra dan kluster hypercomputing untuk proyek AI mereka. Ia juga menyebutkan kemudahan dalam menyiapkan dan menjalankan kluster sebagai peningkatan yang signifikan.

Selain itu, Trillium TPU diperkenalkan untuk meningkatkan throughput inferensi bagi agen AI, dengan peningkatan 3x lipat dari generasi sebelumnya. Google Cloud menawarkan berbagai cara untuk memanfaatkan TPU ini, termasuk Vertex AI dan alat lain yang dirancang khusus untuk Cloud TPU. Dukungan eksperimental untuk vLLM pada TPU dengan PyTorch/XLA 2.5 juga diumumkan, yang memungkinkan pengguna untuk mengeksplorasi manfaat performa Cloud TPU dalam pengaturan yang ada.