Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Cuối năm 2024 chứng kiến ​​sự ra mắt của một loạt các tiến bộ trong cơ sở hạ tầng AI, bao gồm việc phát hành Trillium, TPU thế hệ thứ sáu và A3 Ultra VM với GPU NVIDIA H200. Những phát triển này cũng giới thiệu hỗ trợ cho các cụm nút được mở rộng trong Google Kubernetes Engine và phát hành Parallelstore, một hệ thống tệp phân tán được thiết kế cho điện toán hiệu suất cao và khối lượng công việc AI. Những công cụ này dự kiến ​​sẽ cải thiện khả năng tạo ra các giải pháp AI của các nhà phát triển.

Google cũng giới thiệu siêu máy tính AI, một hệ thống toàn diện kết hợp phần cứng được tối ưu hóa, phần mềm mở và mô hình tiêu thụ linh hoạt. Cách tiếp cận này cho phép các nhà phát triển lựa chọn các thành phần cơ sở hạ tầng khác nhau để phù hợp với yêu cầu khối lượng công việc cụ thể của họ, cung cấp một nền tảng đa năng để phát triển các giải pháp AI trên Google Cloud.

Các bản cập nhật bao gồm tính khả dụng chung của A3 Ultra VM và Hypercompute Clusters để cung cấp năng lượng cho khối lượng công việc phân tán. Được hỗ trợ bởi GPU NVIDIA H200, A3 Ultra VM cung cấp băng thông mạng và bộ nhớ GPU-to-GPU tăng lên, trong khi Hypercompute Clusters cung cấp nền tảng dịch vụ siêu máy tính giúp hợp lý hóa việc triển khai và quản lý số lượng lớn các bộ tăng tốc.

LG Research đã bắt đầu tận dụng các dịch vụ mới này và Jiyeon Jung, kỹ sư cơ sở hạ tầng AI cấp cao tại công ty, ca ngợi hiệu suất tăng cường và khả năng mở rộng mà A3 Ultra VM và cụm siêu máy tính mang lại cho các dự án AI của họ. Ông cũng trích dẫn sự dễ dàng trong việc thiết lập và chạy cụm là một cải tiến lớn.

Ngoài ra, Trillium TPU đã được giới thiệu để cải thiện thông lượng suy luận cho các tác nhân AI, với mức tăng gấp 3 lần so với thế hệ trước. Google Cloud cung cấp nhiều cách khác nhau để tận dụng các TPU này, bao gồm Vertex AI và các công cụ khác được thiết kế riêng cho Cloud TPU. Hỗ trợ thử nghiệm cho vLLM trên TPU với PyTorch/XLA 2.5 cũng đã được công bố, cho phép người dùng khám phá các lợi ích về hiệu suất của Cloud TPU trong các thiết lập hiện có của họ.