Ironwood, Tensor Processing Unit (TPU) terbaru dari perusahaan teknologi terkemuka, berada di garda terdepan evolusi AI, mendukung model kompleks seperti Gemini dan Nano Banana. TPU sangat penting untuk pelatihan skala besar dan inferensi throughput tinggi yang efisien. Tumpukan perangkat lunak AI Ironwood yang terintegrasi secara mendalam menunjukkan bagaimana sinergi ini meningkatkan kinerja, efisiensi, dan skalabilitas. Tumpukan ini mencakup dukungan untuk ekosistem JAX dan PyTorch, kompiler XLA, dan kerangka kerja tingkat tinggi yang menyediakan daya komputasi canggih secara luas.

Tumpukan Ironwood dirancang dengan cermat untuk memenuhi tuntutan komputasi model dasar terbaru dengan triliunan parameter. Desain bersama tingkat sistem memperlakukan pod TPU sebagai superkomputer terpadu, yang dilengkapi interkoneksi khusus untuk pertukaran data bandwidth tinggi dan latensi rendah. Arsitektur Ironwood menawarkan kapasitas HBM sebesar 1,77PB dan dioptimalkan untuk beban kerja AI. Inti perangkat kerasnya mencakup unit perkalian matriks (MXU) dan unit pemrosesan vektor (VPU). Kompiler XLA menargetkan perangkat keras ini dan mengkonsolidasikan operasi ke dalam kernel yang dioptimalkan untuk mencapai kinerja puncak.

Desain chip Ironwood juga mencakup konektivitas, memungkinkan peningkatan dan peningkatan skala secara masif. Chip TPU disusun dalam "kubus" dan terhubung melalui jaringan sakelar sirkuit optik (OCS), yang memungkinkan sistem untuk diskalakan dari pod kecil hingga superpod raksasa. Jaringan dinamis ini merupakan kunci toleransi kesalahan dan operasi yang efisien, bahkan ketika diskalakan hingga ratusan ribu chip.

Tumpukan perangkat lunak ini menerjemahkan kode tingkat tinggi menjadi instruksi yang dioptimalkan untuk memaksimalkan kemampuan perangkat keras. Tumpukan ini mendukung ekosistem JAX untuk kinerja dan fleksibilitas, dan PyTorch pada TPU untuk pengalaman asli. Tumpukan ini dirancang untuk mengoptimalkan seluruh siklus hidup AI, mulai dari pra-pelatihan hingga inferensi, dengan kemampuan perangkat keras dan perangkat lunak spesifik untuk setiap tahap. Ini termasuk mengelola ketahanan dalam skala besar, menghadirkan perangkat lunak yang dioptimalkan untuk alur kerja yang kompleks, dan mencapai prediksi latensi rendah serta throughput tinggi dalam produksi.

Singkatnya, tumpukan Ironwood mewakili pendekatan komprehensif untuk desain bersama perangkat keras dan perangkat lunak AI. Platform ini menghadirkan performa dan efisiensi luar biasa, memungkinkan para pengembang memanfaatkan kekuatan superkomputer untuk berbagai tahap pengembangan dan penerapan model AI. Platform ini mendukung ekosistem JAX dan PyTorch, memastikan para pengembang memiliki perangkat yang mereka butuhkan untuk mewujudkan inovasi AI mereka.