Di GTC 2025, NVIDIA meluncurkan NVIDIA Dynamo, kerangka kerja penyajian inferensi sumber terbuka baru yang dirancang untuk mendukung penerapan AI generatif dan model inferensi dalam lingkungan terdistribusi berskala besar. Kerangka kerja ini secara drastis meningkatkan jumlah permintaan yang diproses, mencapai peningkatan hingga 30x menggunakan model DeepSeek-R1 pada NVIDIA Blackwell. NVIDIA Dynamo terintegrasi dengan berbagai alat sumber terbuka, termasuk PyTorch dan NVIDIA TensorRT-LLM, untuk membantu pengembang dan peneliti mempercepat aplikasi AI.

Kerangka kerja ini memperkenalkan beberapa inovasi yang ditujukan untuk mengoptimalkan kinerja dan efisiensi GPU, termasuk pemisahan tahap inferensi pra-pengisian dan dekode, penjadwalan GPU dinamis untuk memenuhi permintaan yang berubah, dan perutean permintaan cerdas yang mengurangi kebutuhan untuk penghitungan ulang cache KV. Selain itu, NVIDIA Dynamo meningkatkan kecepatan transfer data antara GPU dan memungkinkan pemindahan cache KV untuk meningkatkan throughput sistem. Kini tersedia di GitHub, NVIDIA Dynamo juga menawarkan kemampuan tingkat perusahaan melalui NVIDIA AI Enterprise untuk organisasi yang memerlukan dukungan dan stabilitas tingkat lanjut.

Arsitektur NVIDIA Dynamo dirancang untuk memungkinkan penskalaan model AI generatif yang hemat biaya, dari pengaturan GPU tunggal hingga sistem dengan ribuan GPU. Komponen utama kerangka kerja bekerja sama untuk mengelola sumber daya secara efektif dan memastikan throughput tinggi dan latency rendah dalam lingkungan terdistribusi. NVIDIA Dynamo mengatasi tantangan penerapan model AI yang kompleks dalam produksi dengan memisahkan berbagai tahap inferensi dan mengalokasikan sumber daya GPU secara dinamis.

Peluncuran NVIDIA Dynamo menandai langkah maju yang besar dalam layanan inferensi AI, yang dibangun di atas warisan server inferensi NVIDIA Triton. Dengan desain modular dan kemampuan inferensi terdistribusi, NVIDIA Dynamo menawarkan skalabilitas dan kinerja yang lebih baik dalam penerapan multi-simpul dan siap mendukung aplikasi AI generasi berikutnya. Pengembang dan peneliti AI didorong untuk bergabung dengan komunitas NVIDIA Dynamo di GitHub dan berkontribusi pada pengembangan yang berkelanjutan.