Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo
%20(1).webp)
Hiệu năng suy luận AI của NVIDIA Dynamo 1.0 đã được cải thiện đáng kể.
Generatived
9:00 19/3/26
NVIDIA (San Jose, California) đã công bố NVIDIA Dynamo 1.0, phần mềm mã nguồn mở dành cho suy luận tạo sinh và dựa trên tác nhân quy mô lớn. Phần mềm này, khi kết hợp với GPU NVIDIA Blackwell, dự kiến sẽ cải thiện đáng kể hiệu suất suy luận AI.
Theo công ty, Dynamo 1.0 hoạt động như một "hệ điều hành" phi tập trung cho các nhà máy AI, điều phối tài nguyên GPU và bộ nhớ trên toàn cụm. Điều này được cho là sẽ cải thiện hiệu suất suy luận lên đến bảy lần, giảm chi phí token GPU và tăng cơ hội doanh thu.
Hơn nữa, NVIDIA đã tích hợp các tối ưu hóa cho thư viện Dynamo và NVIDIA TensorRT™-LLM vào các framework chính như LangChain, llm-d và LMCache. Điều này được kỳ vọng sẽ thúc đẩy hệ sinh thái mã nguồn mở. Nền tảng suy luận của NVIDIA được sử dụng bởi nhiều công ty toàn cầu, cũng như các nhà cung cấp dịch vụ đám mây như Amazon Web Services (AWS), Microsoft Azure và Google Cloud.
Nhà sáng lập kiêm CEO của NVIDIA, Jensen Huang, tuyên bố rằng "suy luận là động cơ trí tuệ cung cấp sức mạnh cho mọi truy vấn, mọi tác nhân và mọi ứng dụng," nhấn mạnh việc tạo ra một "hệ điều hành" mới cho các nhà máy AI với Dynamo 1.0. Dynamo 1.0 hiện đã có sẵn cho các nhà phát triển từ hôm nay. Thông tin chi tiết hơn có thể được tìm thấy trên trang web của NVIDIA.
Chia sẻ bài viết này:
Tin tức mới nhất
Copyright © 2024 Generatived - All right Reserved.
Chia sẻ bài viết này:
Chia sẻ bài viết này:
Danh mục
Tin tức
AI và luật/hệ thống/kinh tế/xã hội
Hãy theo dõi chúng tôi
Ngôn ngữ
Generatived là dịch vụ cung cấp thông tin và xu hướng chuyên về Generative AI. Chúng tôi sẽ cố gắng hết sức để cung cấp thông tin về thế giới đang thay đổi nhanh chóng.
Generatived là dịch vụ cung cấp thông tin và xu hướng chuyên về Generative AI. Chúng tôi sẽ cố gắng hết sức để cung cấp thông tin về thế gi ới đang thay đổi nhanh chóng.
Hãy theo dõi chúng tôi
Ngôn ngữ