Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Suy luận AI đã trải qua một quá trình chuyển đổi lớn, phát triển thành các hệ thống phức tạp đòi hỏi sự phối hợp tiên tiến. Việc triển khai một mô hình AI đòi hỏi nhiều thành phần, chẳng hạn như bộ điền trước, bộ giải mã và bộ mã hóa thị giác, phối hợp hoạt động để thực hiện các tác vụ. Sự phức tạp này đã chuyển trọng tâm từ nhiệm vụ đơn giản là chạy nhiều bản sao sang việc phối hợp các thành phần này thành một khối thống nhất. Mỗi thành phần có cấu hình và yêu cầu tài nguyên riêng, và chúng phải được khởi chạy và sắp xếp theo thứ tự cụ thể trong một cấu trúc mạng để hoạt động hiệu quả.

Để giải quyết những thách thức phức tạp trong việc quản lý các hệ thống tiên tiến này, NVIDIA đã giới thiệu NVIDIA Grove cho NVIDIA Dynamo, một API Kubernetes giúp dễ dàng vận hành các khối lượng công việc suy luận học máy (ML) hiện đại trên các cụm Kubernetes. Là mã nguồn mở và có thể truy cập trên GitHub, Grove cho phép các nhà phát triển mở rộng quy mô triển khai suy luận từ một bản sao duy nhất lên quy mô trung tâm dữ liệu, hỗ trợ hàng nghìn GPU. Grove cung cấp một cách để mô tả toàn bộ hệ thống suy luận như một tài nguyên tùy chỉnh duy nhất, cho phép lập lịch nhóm phân cấp, sắp xếp theo cấu trúc liên kết và tự động mở rộng đa cấp.

Tính linh hoạt của Grove được thể hiện qua khả năng đáp ứng nhiều kiến ​​trúc suy luận thực tế, từ cấu hình một nút đơn đến các quy trình tác nhân phức tạp. Các nhà phát triển có thể định nghĩa các ngăn xếp AI phức tạp một cách rõ ràng, mang tính khai báo và không phụ thuộc vào khuôn khổ. Hệ thống đáp ứng các nhu cầu như tự động điều chỉnh quy mô đa cấp, quản lý vòng đời, lập lịch nhóm phân cấp và lập lịch theo cấu trúc liên kết, đồng thời đảm bảo việc phối hợp và khởi tạo thành phần.

API Grove quản lý khối lượng công việc AI đa thành phần bằng cách sử dụng các tài nguyên tùy chỉnh phân cấp, cung cấp logic cụ thể theo vai trò và khả năng mở rộng đa cấp. Phương pháp này đảm bảo triển khai tối ưu trên các môi trường cụm không đồng nhất. Một cụm Kubernetes hỗ trợ Grove kết hợp toán tử Grove với một bộ lập lịch hiểu được tài nguyên PodGang để chuyển đổi định nghĩa khối lượng công việc thành các ràng buộc lập lịch cụ thể. Điều này cho phép triển khai phối hợp các hệ thống AI, đảm bảo các thành phần được khởi chạy theo đúng thứ tự, được định vị để đạt hiệu suất tối ưu và được khôi phục thành một nhóm thống nhất.

Dành cho những ai quan tâm đến việc áp dụng kiến ​​trúc dịch vụ phân tán, NVIDIA cung cấp hướng dẫn từng bước sử dụng Dynamo và Grove. NVIDIA mời cộng đồng khám phá các tính năng của Grove, đóng góp vào quá trình phát triển và tham gia dự án trên GitHub hoặc Discord. NVIDIA cũng xin cảm ơn tất cả những người đóng góp, đặc biệt là SAP, vì sự hỗ trợ và đóng góp to lớn của họ cho dự án Grove.