Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

NVIDIA vừa ra mắt Dynamo 1.0, một khung AI mới được thiết kế để nâng cao hiệu suất của các mô hình AI tạo sinh và suy luận trong môi trường phân tán. Nền tảng này được thiết kế để cung cấp khả năng suy luận phân tán độ trễ thấp và thông lượng cao, hỗ trợ triển khai AI đa nút ở cấp độ sản xuất. Dynamo tương thích với nhiều công cụ suy luận mã nguồn mở và đã cho thấy kết quả ấn tượng trong các bài kiểm tra hiệu năng, bao gồm MLPerf và SemiAnalysis InferenceX, nơi nó tăng khả năng xử lý yêu cầu lên đến bảy lần trên nền tảng Blackwell của NVIDIA.

Công ty đã báo cáo rằng Dynamo đã được tích hợp thành công vào quy trình làm việc sản xuất của nhiều tổ chức, chứng minh khả năng mở rộng suy luận đa nút, tối ưu hóa thông lượng và giảm latency. Khung phần mềm này cũng đã được các nhà cung cấp dịch vụ đám mây lớn áp dụng, cho phép triển khai liền mạch trong môi trường Kubernetes được quản lý. Các khung phần mềm mã nguồn mở đã sử dụng các thành phần của Dynamo để tăng tốc các quy trình quan trọng, và sự đóng góp từ cộng đồng AI đã mở rộng khả năng của nó.

Dynamo 1.0 giới thiệu các tính năng mới nhằm cải thiện tối ưu hóa suy luận đa phương thức, đặc biệt là trong các tác vụ xử lý hình ảnh lớn. Nó tách biệt quá trình mã hóa, điền trước dữ liệu và giải mã thành các giai đoạn riêng biệt, cho phép mở rộng quy mô độc lập và nâng cao hiệu suất. Ngoài ra, khung phần mềm hiện cung cấp hỗ trợ gốc cho các mô hình tạo video, cho phép cung cấp hiệu quả khả năng tạo video hiện đại.

Bản cập nhật mới nhất của Dynamo cũng tập trung vào việc tăng cường khả năng phục hồi của các ứng dụng AI. Nó giới thiệu các tính năng phát hiện lỗi và di chuyển yêu cầu để duy trì khả năng phản hồi ngay cả khi các worker riêng lẻ gặp sự cố. Trình quản lý khối KV đã được cập nhật để hỗ trợ lưu trữ đối tượng và phát ra các sự kiện KV toàn cục, cung cấp tính linh hoạt và khả năng hiển thị cao hơn cho người vận hành mô hình.

Lộ trình phát triển Dynamo của NVIDIA bao gồm mở rộng khả năng đa phương thức, nâng cao các mô hình dựa trên khuếch tán để tạo video chất lượng cao theo thời gian thực, và mở rộng quy mô khối lượng công việc của tác nhân và học tăng cường. Công ty khuyến khích sự tham gia của cộng đồng vào quá trình phát triển liên tục của Dynamo, mời các bên quan tâm khám phá mã nguồn, tham gia các buổi tư vấn và đọc các bài viết kỹ thuật để biết thêm thông tin.