Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Google(Tokyo) đã công bố những tiến bộ mới nhất trong cơ sở hạ tầng AI của mình, bao gồm việc ra mắt TPU thế hệ thứ 6 "Trillium", phát hành "A3 Ultra VM" với GPU NVIDIA H200 và hỗ trợ tới 65.000 nút trên Google Kubernetes Engine (GKE). Ngoài ra, "Parallelstore" cung cấp dịch vụ hệ thống tệp phân tán cho khối lượng công việc HPC và AI.

AI Hypercomputer là phương pháp tiếp cận cấp hệ thống dựa trên nhiều thập kỷ kinh nghiệm của Google, kết hợp phần cứng được tối ưu hóa với phần mềm mở, khuôn khổ và mô hình tiêu thụ linh hoạt. Khi xây dựng các giải pháp AI trên Google Cloud, bạn có thể chọn các thành phần cơ sở hạ tầng chuyên dụng của riêng mình.

A3 Ultra VM sử dụng GPU NVIDIA Hopper, với băng thông mạng GPU-to-GPU gấp đôi và HBM. Nó kết hợp bộ điều hợp mạng Titanium ML với NIC NVIDIA ConnectX-7 để hoạt động với mạng trung tâm dữ liệu của Google nhằm cung cấp tới 3,2 Tbps truyền thông giữa các GPU. Nó cũng khả dụng thông qua GKE, hữu ích cho việc đào tạo và phục vụ khối lượng công việc AI.

Hypercompute Cluster là một nền tảng dịch vụ siêu máy tính trên một siêu máy tính AI có thể triển khai và quản lý nhiều máy gia tốc như một đơn vị duy nhất. Nó có mạng lưới latency cực thấp, cấu hình mục tiêu và quản lý bảo trì tiên tiến để giúp đạt được mục tiêu về thông lượng và khả năng phục hồi. LG AI Research đang sử dụng cơ sở hạ tầng này để thúc đẩy các sáng kiến ​​AI của mình.

Google Cloud TPU đã có những bước tiến lớn trong suy luận AI, với Trillium TPU đạt được thông lượng suy luận lên đến 3 lần so với thế hệ TPU v5e trước. Nhiều tùy chọn phục vụ có sẵn tùy thuộc vào nhu cầu của người dùng, bao gồm Vertex AI, JetStream, MaxDiffusion, Optimum TPU và Hugging Face TGI. Google Colab hiện hỗ trợ Cloud TPU (TPU v5e), cho phép nhiều người dùng dùng thử TPU hơn.

Google Cloud tiếp tục mở rộng ranh giới của cơ sở hạ tầng AI với Siêu máy tính AI và mục tiêu Google là tận dụng các khả năng mới để mang lại hiệu suất, hiệu quả và dễ sử dụng nhằm đẩy nhanh hành trình AI của bạn.