Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

NVIDIA đã giới thiệu Dynamo Snapshot, một khung sao lưu và khôi phục được thiết kế để giảm độ trễ khởi động cho các khối lượng công việc suy luận AI chạy trên Kubernetes. Phương pháp này nhắm đến vấn đề khởi động nguội có thể làm chậm quá trình mở rộng quy mô trong thời điểm nhu cầu tăng đột biến.

Hệ thống kết hợp việc sao lưu trạng thái GPU bằng CUDA với việc khôi phục quy trình dựa trên CRIU cho các tài nguyên phía CPU. Kiến trúc dựa trên Kubernetes cho phép các worker suy luận được sao lưu và khôi phục trên các nút cụm với những thay đổi vận hành tối thiểu.

Các kỹ sư cũng đã triển khai các tối ưu hóa giúp giảm kích thước điểm sao lưu và tăng tốc độ khôi phục bộ nhớ. Điều này bao gồm việc giải phóng các phân bổ bộ nhớ cache KV không sử dụng và tăng cường CRIU với khả năng khôi phục bộ nhớ song song và khả năng I/O bất đồng bộ.

NVIDIA cũng đã phát triển thêm Dịch vụ Bộ nhớ GPU giúp tách trọng số mô hình khỏi các điểm sao lưu quy trình, cho phép các đường dẫn khôi phục song song. Thử nghiệm nội bộ cho thấy thời gian khởi động cho các mô hình lớn có thể được giảm đáng kể, với một số khối lượng công việc được khôi phục trong vòng chưa đầy năm giây.