NVIDIA telah meluncurkan Dynamo 1.0, sebuah kerangka kerja AI baru yang dirancang untuk meningkatkan kinerja AI generatif dan model penalaran di lingkungan terdistribusi. Platform ini dirancang untuk menyediakan inferensi terdistribusi dengan latensi rendah dan throughput tinggi, mendukung penerapan AI multi-node tingkat produksi. Dynamo kompatibel dengan berbagai mesin inferensi sumber terbuka dan telah menunjukkan hasil yang mengesankan dalam benchmark, termasuk MLPerf dan SemiAnalysis InferenceX, di mana ia meningkatkan penanganan permintaan hingga tujuh kali lipat pada platform Blackwell NVIDIA.

Perusahaan tersebut melaporkan bahwa Dynamo telah berhasil diintegrasikan ke dalam alur kerja produksi oleh banyak organisasi, menunjukkan kemampuannya untuk meningkatkan inferensi multi-node, mengoptimalkan throughput, dan mengurangi latency. Kerangka kerja ini juga telah diadopsi oleh penyedia cloud utama, memungkinkan penerapan yang lancar di lingkungan Kubernetes terkelola. Kerangka kerja sumber terbuka telah menggunakan komponen Dynamo untuk mempercepat proses-proses penting, dan kontribusi dari komunitas AI telah memperluas kemampuannya.

Dynamo 1.0 memperkenalkan fitur-fitur baru yang bertujuan untuk meningkatkan optimasi inferensi multimodal, khususnya pada beban kerja yang banyak melibatkan gambar. Ia memisahkan proses encoding, prefilling, dan decoding ke dalam tahapan yang berbeda, memungkinkan penskalaan independen dan peningkatan kinerja. Selain itu, framework ini sekarang menawarkan dukungan native untuk model pembuatan video, memungkinkan penyampaian pembuatan video mutakhir secara efisien.

Pembaruan terbaru Dynamo juga berfokus pada peningkatan ketahanan aplikasi AI. Pembaruan ini memperkenalkan fitur deteksi kesalahan dan migrasi permintaan untuk menjaga responsivitas bahkan ketika pekerja individual mengalami masalah. KV Block Manager telah diperbarui untuk mendukung penyimpanan objek dan memancarkan peristiwa KV global, memberikan fleksibilitas dan visibilitas yang lebih besar bagi operator model.

Rencana NVIDIA untuk Dynamo mencakup perluasan kemampuan multimodal, pengembangan model berbasis difusi untuk pembuatan video berkualitas tinggi secara real-time, dan peningkatan skala beban kerja agen dan pembelajaran penguatan. Perusahaan mendorong keterlibatan komunitas dalam pengembangan Dynamo yang sedang berlangsung, mengundang pihak yang berminat untuk menjelajahi kode, berpartisipasi dalam sesi konsultasi, dan membaca blog teknis untuk informasi lebih lanjut.