Kemajuan terbaru dalam model bahasa besar (LLM) ditandai dengan pergeseran ke arah arsitektur Campuran Pakar (MoE), yang dilambangkan oleh model seperti DeepSeek R1, Llama 4, dan Qwen3. Model MoE ini beroperasi dengan hanya mengaktifkan beberapa parameter khusus (yaitu "pakar") selama inferensi, sehingga secara signifikan mengurangi beban dan biaya komputasi. Menggabungkan model ini dengan pengoptimalan inferensi Dynamo NVIDIA dan ruang yang luas dari arsitektur GB200 NVL72 dapat secara signifikan meningkatkan efisiensi inferensi. Sinergi ini khususnya bermanfaat bagi pabrik AI, yang memungkinkan mereka meningkatkan daya pemrosesan permintaan pengguna per GPU tanpa mengorbankan kualitas pengalaman pengguna.

Studi terkini, termasuk evaluasi ekstensif konfigurasi perangkat keras dengan simulator kinerja GPU, telah mengungkap dampak dekomposisi dan paralelisme model pada throughput MoE. Sejak peneliti Google mengembangkan model BERT pada tahun 2018, bobot model telah tumbuh secara eksponensial, meningkatkan ekspektasi untuk throughput inferensi generatif dan interaktivitas. Untuk mengatasi hal ini, model sekarang dipartisi di beberapa GPU dan teknik paralelisasi seperti paralelisme tensor (TP), paralelisme pipeline (PP), dan paralelisme data (DP) digunakan. Penyajian terdistribusi, yang memisahkan fase pra-pengisian dan dekode inferensi ke GPU yang berbeda, telah muncul sebagai cara untuk mengoptimalkan pemanfaatan sumber daya dan memenuhi perjanjian tingkat layanan yang berbeda untuk setiap fase.

NVIDIA Dynamo merevolusi penerapan model MoE dengan kerangka layanan inferensi terdistribusi. Kerangka tersebut dirancang untuk mengatasi kompleksitas arsitektur layanan terdistribusi. Dynamo memfasilitasi transfer cepat cache KV antara GPU pra-pengisian dan dekode dan secara cerdas mengarahkan permintaan masuk ke GPU yang sesuai. Ia juga menskalakan seluruh pengaturan agar sesuai dengan permintaan pengguna, memastikan alokasi sumber daya yang efisien dan kepatuhan terhadap perjanjian tingkat layanan. Mesin Planner kerangka tersebut mengotomatiskan penyeimbangan laju permintaan antara fase pra-pengisian dan dekode dan beradaptasi dengan perubahan beban kerja untuk mengoptimalkan konfigurasi sumber daya GPU.

Arsitektur NVIDIA GB200 NVL72 NVLink memainkan peran penting dalam memaksimalkan kinerja model MoE dalam konfigurasi layanan terdistribusi. Dengan mengaktifkan komunikasi latensi rendah dan bandwidth tinggi antara GPU, GB200 NVL72 mencegah keterbatasan jaringan menghalangi pola komunikasi semua-ke-semua yang penting bagi model MoE. Arsitektur ini mendukung hingga 72 GPU, meningkatkan kecepatan komunikasi secara signifikan, dan memungkinkan pengoperasian yang efisien dari berbagai konfigurasi dekode paralel ahli. Kombinasi NVIDIA Dynamo dan kemampuan GB200 NVL72 tidak hanya meningkatkan kinerja model MoE, tetapi juga memberikan manfaat signifikan dalam pengiriman model kepadatan tinggi tradisional, yang mengarah pada throughput yang lebih tinggi dan keuntungan berkelanjutan bagi pabrik AI.