Google (AS) mengumumkan pembaruan besar pada lapisan perangkat lunak hiperkomputer AI-nya. Menyediakan pusat pusat untuk meningkatkan kinerja pelatihan dan inferensi, meningkatkan ketahanan, dan mengelola sumber daya. Sumber daya hiperkomputer AI baru di GitHub kini mencakup implementasi referensi seperti MaxText dan MaxDiffusion, serta alat orkestrasi XPK.

Bekerja sama dengan NVIDIA (AS), MaxText mendukung A3 Mega VM. Hal ini menggandakan bandwidth jaringan GPU-ke-GPU, sehingga mempercepat pelatihan model bahasa besar. Pelatihan presisi campuran FP8 juga meningkatkan pemanfaatan perangkat keras. Google menunjukkan bahwa pelatihan FP8 dengan AQT secara signifikan meningkatkan pemanfaatan model FLOP yang efektif.

Google juga menyediakan referensi implementasi dan kernel untuk MoE (Mixture of Experts). Hal ini memungkinkan Anda menyesuaikan jumlah pakar dan meningkatkan fleksibilitas dan performa model. Kami juga melakukan open source pada kernel Pallas yang dioptimalkan di Cloud TPU untuk lebih mempercepat pelatihan model MoE.

Memperkenalkan resep pemantauan referensi untuk memfasilitasi pemantauan pelatihan skala besar. Membantu memaksimalkan pemanfaatan sumber daya dan meningkatkan kualitas ML melalui dasbor Cloud Monitoring. Selain itu, SparseCore untuk Cloud TPU v5p kini tersedia secara umum, sehingga meningkatkan performa model Rekomendasi secara signifikan. Performa inferensi LLM juga meningkat dua kali lipat dengan fitur baru JetStream.