10 model sumber terbuka paling cerdas, termasuk Kimi K2 Thinking dan DeepSeek-R1, menggunakan arsitektur Mixture-of-Experts (MoE), yang meniru aktivasi regional spesifik tugas di otak manusia. Arsitektur ini memungkinkan pembuatan token yang efisien dengan hanya mengaktifkan "pakar" yang diperlukan untuk setiap token AI, meningkatkan kinerja tanpa meningkatkan beban komputasi secara signifikan.

Sistem GB200 NVL72 NVIDIA memainkan peran kunci dalam penskalaan model MoE, menyediakan optimasi perangkat keras dan perangkat lunak yang mendorong kinerja dan efisiensi tinggi. Misalnya, model Kimi K2 Thinking mencapai peningkatan kinerja 10 kali lipat pada GB200 NVL72 dibandingkan dengan sistem sebelumnya, yang menunjukkan efektivitas platform inferensi tumpukan penuh NVIDIA dalam mengoptimalkan arsitektur MoE.

Meskipun penskalaan model MoE secara tradisional menantang karena kompleksitas dan skalanya yang besar, sistem GB200 NVL72 NVIDIA memecahkan tantangan ini melalui desain bersama yang ekstrem. Sistem ini dilengkapi 72 GPU yang saling terhubung, memungkinkan pemrosesan paralel tingkat ahli dan mengurangi tekanan bandwidth memori. Desain ini secara signifikan meningkatkan komunikasi antar pakar dan meningkatkan kinerja secara keseluruhan.

Penyedia layanan cloud terkemuka dan mitra cloud NVIDIA telah menerapkan GB200 NVL72 dan menuai manfaatnya dalam skala global. Perusahaan seperti CoreWeave dan DeepL memanfaatkan sistem ini untuk meningkatkan efisiensi dan kinerja model AI mereka. Kemajuan NVIDIA dalam penskalaan model MoE menetapkan standar baru untuk kapabilitas AI, menjanjikan masa depan di mana sistem AI yang tangguh dan efisien.