NVIDIA (San Jose, California) telah mengumumkan NVIDIA Dynamo 1.0, perangkat lunak sumber terbuka untuk inferensi generatif dan berbasis agen skala besar. Perangkat lunak ini, jika dikombinasikan dengan GPU NVIDIA Blackwell, diharapkan dapat secara signifikan meningkatkan kinerja inferensi AI.

Menurut perusahaan, Dynamo 1.0 berfungsi sebagai "sistem operasi" terdesentralisasi untuk pabrik AI, mengoordinasikan sumber daya GPU dan memori di seluruh klaster. Hal ini diklaim dapat meningkatkan kinerja inferensi hingga tujuh kali lipat, mengurangi biaya token GPU, dan meningkatkan peluang pendapatan.

Selain itu, NVIDIA telah mengintegrasikan optimasi untuk pustaka Dynamo dan NVIDIA TensorRT™-LLM ke dalam kerangka kerja utama seperti LangChain, llm-d, dan LMCache. Hal ini diharapkan dapat mempercepat ekosistem sumber terbuka. Platform inferensi NVIDIA digunakan oleh banyak perusahaan global, serta penyedia layanan cloud seperti Amazon Web Services (AWS), Microsoft Azure, dan Google Cloud.

Pendiri dan CEO NVIDIA, Jensen Huang, menyatakan bahwa "inferensi adalah mesin kecerdasan yang menggerakkan setiap kueri, setiap agen, dan setiap aplikasi," menekankan terciptanya "sistem operasi" baru untuk pabrik AI dengan Dynamo 1.0. Dynamo 1.0 tersedia untuk pengembang mulai hari ini. Detail lebih lanjut dapat ditemukan di situs web NVIDIA.