Google(Tokyo) mengumumkan kemajuan terbaru dalam infrastruktur AI-nya, termasuk peluncuran TPU "Trillium" generasi ke-6, peluncuran "A3 Ultra VM" dengan GPU NVIDIA H200, dan dukungan hingga 65.000 node pada Google Kubernetes Engine (GKE). Selain itu, "Parallelstore" menyediakan layanan sistem file terdistribusi untuk beban kerja HPC dan AI.

AI Hypercomputer merupakan pendekatan tingkat sistem yang didasarkan pada pengalaman Google selama puluhan tahun, yang menggabungkan perangkat keras yang dioptimalkan dengan perangkat lunak terbuka, kerangka kerja, dan model konsumsi yang fleksibel. Saat membangun solusi AI di Google Cloud, Anda dapat memilih komponen infrastruktur khusus Anda sendiri.

VM A3 Ultra menggunakan GPU NVIDIA Hopper, dengan bandwidth jaringan GPU-ke-GPU dan HBM dua kali lipat. VM ini menggabungkan adaptor jaringan Titanium ML dengan NIC NVIDIA ConnectX-7 untuk bekerja dengan jaringan pusat data Google guna menghadirkan komunikasi hingga 3,2 Tbps antar GPU. VM ini juga tersedia melalui GKE, yang berguna untuk melatih dan melayani beban kerja AI.

Hypercompute Cluster adalah platform layanan superkomputer pada AI Hypercomputer yang dapat menerapkan dan mengelola beberapa akselerator sebagai satu unit. Platform ini dilengkapi jaringan latency sangat rendah, konfigurasi target, dan manajemen pemeliharaan tingkat lanjut untuk membantu mencapai sasaran throughput dan ketahanan. LG AI Research menggunakan infrastruktur ini untuk memajukan inisiatif AI-nya.

Google Cloud TPU telah membuat langkah besar dalam inferensi AI, dengan Trillium TPU yang mencapai throughput inferensi hingga 3x lebih tinggi dibandingkan dengan TPU v5e generasi sebelumnya. Beberapa opsi penyajian tersedia tergantung pada kebutuhan pengguna, termasuk Vertex AI, JetStream, MaxDiffusion, Optimum TPU, dan Hugging Face TGI. Google Colab kini mendukung Cloud TPU (TPU v5e), yang memungkinkan lebih banyak pengguna untuk mencoba TPU.

Google Cloud terus mendorong batasan infrastruktur AI dengan AI Hypercomputer-nya, dan tujuan Google adalah memanfaatkan kemampuan baru untuk memberikan kinerja, efisiensi, dan kemudahan penggunaan guna mempercepat perjalanan AI Anda.