Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Google Cloud thông báo sẽ mở rộng hợp tác với NVIDIA để giới thiệu một loạt tính năng mới nhằm nâng cao khả năng phát triển và triển khai AI. Các phiên bản A4X Max mới, được trang bị GPU GB300 NVL72 của NVIDIA, được thiết kế riêng cho các tác vụ AI phức tạp liên quan đến nhiều chế độ suy luận. Các phiên bản này có 72 GPU Blackwell Ultra và 36 CPU NVIDIA Grace, được kết nối với nhau thông qua NVIDIA NVLink để tạo ra một nền tảng điện toán thống nhất với bộ nhớ chia sẻ và giao tiếp băng thông rộng.

Google Kubernetes Engine (GKE) hiện hỗ trợ Trình điều khiển Mạng Kubernetes Phân bổ Tài nguyên Động (DRANET), giúp cải thiện băng thông cho các khối lượng công việc AI và học máy phân tán. Ngoài ra, GKE Inference Gateway hiện đã được tích hợp với NVIDIA NeMo Guardrails, và các mô hình NVIDIA Nemotron sẽ sớm có mặt trong Vertex AI Model Garden. Vertex AI TrainingVertex được cải tiến với các công thức dựa trên NVIDIA NeMo Framework và NeMo-RL, giúp đơn giản hóa việc phát triển các mô hình quy mô lớn.

Các phiên bản A4X Max của Google Cloud được thiết kế để tối ưu hóa suy luận AI, cải thiện đáng kể latency và thông lượng cho các mô hình suy luận quy mô lớn. Các phiên bản này cũng nâng cao hiệu suất đào tạo và phục vụ, mang lại hiệu suất gấp 4 lần so với các mô hình trước đây. Cấu trúc mạng của A4X Max, dựa trên RDMA trên Ethernet hội tụ (RoCE), mang lại khả năng mở rộng và tính song song tối đa cho các khối lượng công việc đào tạo và phục vụ phân tán.

Việc tích hợp NVIDIA NeMo Guardrails với GKE Inference Gateway mang đến một giải pháp Vertex an toàn và có khả năng mở rộng để triển khai các mô hình AI, đảm bảo tính an toàn và hành vi có trách nhiệm của chúng. Hỗ trợ cho các mô hình Nemotron của NVIDIA sẽ sớm có trong Vertex AI Model Garden, cho phép các nhà phát triển tạo ra các tác nhân VertexAI bằng cách sử dụng các mô hình trọng số mở mới nhất. Tiện ích mở rộng Vertex AI Training giúp đơn giản hóa việc phát triển các mô hình tùy chỉnh với môi trường được quản lý và các công thức đào tạo được tối ưu hóa.

"Bản cập nhật Google Cloud Platform này phản ánh cam kết của chúng tôi trong việc cung cấp một hệ sinh thái toàn diện cho việc phát triển và triển khai AI, tận dụng công nghệ NVIDIA để hỗ trợ phát triển các ứng dụng AI thế hệ tiếp theo. Các dịch vụ cơ sở hạ tầng nâng cao của chúng tôi được thiết kế để cung cấp cho các nhà phát triển và tổ chức những công cụ họ cần để xây dựng các giải pháp AI tiên tiến một cách hiệu quả", Mike S.