Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

NVIDIA (San Jose, California) đã công bố NVIDIA Dynamo 1.0, phần mềm mã nguồn mở dành cho suy luận tạo sinh và dựa trên tác nhân quy mô lớn. Phần mềm này, khi kết hợp với GPU NVIDIA Blackwell, dự kiến ​​sẽ cải thiện đáng kể hiệu suất suy luận AI.

Theo công ty, Dynamo 1.0 hoạt động như một "hệ điều hành" phi tập trung cho các nhà máy AI, điều phối tài nguyên GPU và bộ nhớ trên toàn cụm. Điều này được cho là sẽ cải thiện hiệu suất suy luận lên đến bảy lần, giảm chi phí token GPU và tăng cơ hội doanh thu.

Hơn nữa, NVIDIA đã tích hợp các tối ưu hóa cho thư viện Dynamo và NVIDIA TensorRT™-LLM vào các framework chính như LangChain, llm-d và LMCache. Điều này được kỳ vọng sẽ thúc đẩy hệ sinh thái mã nguồn mở. Nền tảng suy luận của NVIDIA được sử dụng bởi nhiều công ty toàn cầu, cũng như các nhà cung cấp dịch vụ đám mây như Amazon Web Services (AWS), Microsoft Azure và Google Cloud.

Nhà sáng lập kiêm CEO của NVIDIA, Jensen Huang, tuyên bố rằng "suy luận là động cơ trí tuệ cung cấp sức mạnh cho mọi truy vấn, mọi tác nhân và mọi ứng dụng," nhấn mạnh việc tạo ra một "hệ điều hành" mới cho các nhà máy AI với Dynamo 1.0. Dynamo 1.0 hiện đã có sẵn cho các nhà phát triển từ hôm nay. Thông tin chi tiết hơn có thể được tìm thấy trên trang web của NVIDIA.