Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Google(California, Hoa Kỳ) đang nỗ lực cải thiện hiệu suất của các mô hình chạy trên Kubernetes và Google Kubernetes Engine (GKE) nhằm đáp ứng nhu cầu ngày càng tăng về cơ sở hạ tầng do sự phát triển của các mô hình AI/ML. Cụ thể, công ty đang hợp tác với cộng đồng nguồn mở để cho phép Kubernetes nhận dạng các tính năng phần cứng chuyên biệt. Google đã tập trung phát triển một khuôn khổ phân bổ tài nguyên động (DRA) cho Kubernetes và đề xuất giải pháp Phân bổ Tài nguyên Động cho Mạng (DRANET).

Hôm nay, Google đã công bố bản xem trước của Managed DRANET dành cho Google Kubernetes Engine (GKE). Google Cloud sẽ triển khai Managed DRANET trên các phiên bản A4X Max trong môi trường sản xuất. Giải pháp này phân bổ thông minh các giao diện mạng hiệu suất cao trên Kubernetes để giải quyết vấn đề hiệu suất mạng và độ phức tạp trong vận hành của khối lượng công việc AI.

DRANET trên GKE được tối ưu hóa đặc biệt cho các khối lượng công việc AI sử dụng nhiều GPU. Tuy nhiên, giao diện mạng Kubernetes truyền thống khiến việc tận dụng tối đa các tính năng này trở nên khó khăn. Với DRANET được Quản lý của Google, mặt phẳng điều khiển GKE cho phép căn chỉnh NUMA giữa GPU và giao diện mạng, cải thiện thông lượng.

Phiên bản Google Cloud A4X Max dựa trên hệ thống NVIDIA GB300 NVL72 dạng rack-scale và kết hợp với Managed DRANET cho GKE, tối đa hóa hiệu suất phần cứng, đảm bảo mỗi GPU đều có đường dẫn mạng chuyên dụng, nhất quán và độ trễ thấp cần thiết. Thông tin chi tiết hơn về các phiên bản này, được xây dựng cho AI quy mô cực lớn, có thể được tìm thấy trong blog ra mắt.