Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Tại GTC 2025, NVIDIA đã công bố NVIDIA Dynamo, một khuôn khổ phục vụ suy luận nguồn mở mới được thiết kế để thúc đẩy việc triển khai các mô hình suy luận và AI tạo sinh trong các môi trường phân tán quy mô lớn. Khuôn khổ này làm tăng đáng kể số lượng yêu cầu được xử lý, đạt được cải tiến lên đến 30 lần khi sử dụng mô hình DeepSeek-R1 trên NVIDIA Blackwell. NVIDIA Dynamo tích hợp với nhiều công cụ nguồn mở, bao gồm PyTorch và NVIDIA TensorRT-LLM, để giúp các nhà phát triển và nhà nghiên cứu đẩy nhanh các ứng dụng AI.

Khung này giới thiệu một số cải tiến nhằm tối ưu hóa hiệu suất và hiệu quả của GPU, bao gồm việc tách biệt các giai đoạn suy luận trước khi điền và giải mã, lập lịch GPU động để đáp ứng nhu cầu thay đổi và định tuyến yêu cầu thông minh giúp giảm nhu cầu tính toán lại bộ đệm KV. Ngoài ra, NVIDIA Dynamo cải thiện tốc độ truyền dữ liệu giữa các GPU và cho phép dỡ bộ đệm KV để cải thiện thông lượng hệ thống. Hiện có trên GitHub, NVIDIA Dynamo cũng cung cấp các khả năng cấp doanh nghiệp thông qua NVIDIA AI Enterprise cho các tổ chức yêu cầu hỗ trợ và tính ổn định nâng cao.

Kiến trúc của NVIDIA Dynamo được thiết kế để cho phép mở rộng hiệu quả về mặt chi phí các mô hình AI tạo sinh, từ các thiết lập GPU đơn lẻ đến các hệ thống có hàng nghìn GPU. Các thành phần chính của khung làm việc cùng nhau để quản lý hiệu quả các tài nguyên và đảm bảo thông lượng cao và latency thấp trong môi trường phân tán. NVIDIA Dynamo giải quyết các thách thức của việc triển khai các mô hình AI phức tạp trong sản xuất bằng cách tách rời các giai đoạn suy luận khác nhau và phân bổ động các tài nguyên GPU.

Việc phát hành NVIDIA Dynamo đánh dấu một bước tiến lớn trong các dịch vụ suy luận AI, dựa trên di sản của máy chủ suy luận NVIDIA Triton. Với thiết kế mô-đun và khả năng suy luận phân tán, NVIDIA Dynamo cung cấp khả năng mở rộng và hiệu suất được cải thiện trong các triển khai đa nút và sẵn sàng hỗ trợ thế hệ ứng dụng AI tiếp theo. Các nhà phát triển và nhà nghiên cứu AI được khuyến khích tham gia cộng đồng NVIDIA Dynamo trên GitHub và đóng góp vào quá trình phát triển liên tục.