Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Google (Mỹ) công bố các bản cập nhật lớn cho lớp phần mềm của siêu máy tính AI. Cung cấp một trung tâm trung tâm để cải thiện hiệu suất đào tạo và suy luận, tăng khả năng phục hồi và quản lý tài nguyên. Tài nguyên siêu máy tính AI mới trên GitHub hiện bao gồm các triển khai tham chiếu như MaxText và MaxDiffusion, cũng như các công cụ điều phối XPK.

Phối hợp với NVIDIA (Mỹ), MaxText hỗ trợ A3 Mega VM. Điều này tăng gấp đôi băng thông mạng GPU-GPU, tăng tốc độ đào tạo các mô hình ngôn ngữ lớn. Đào tạo có độ chính xác hỗn hợp FP8 cũng cải thiện việc sử dụng phần cứng. Google cho thấy rằng đào tạo FP8 với AQT cải thiện đáng kể việc sử dụng FLOP hiệu quả của mô hình.

Google cũng cung cấp triển khai tham chiếu và hạt nhân cho MoE (Kết hợp các chuyên gia). Điều này cho phép bạn điều chỉnh số lượng chuyên gia và cải thiện tính linh hoạt cũng như hiệu suất của mô hình. Chúng tôi cũng mở nguồn nhân Pallas được tối ưu hóa trên Cloud TPU để tăng tốc hơn nữa quá trình đào tạo mô hình MoE.

Giới thiệu các công thức giám sát tham khảo để tạo điều kiện thuận lợi cho việc giám sát đào tạo quy mô lớn. Giúp tối đa hóa việc sử dụng tài nguyên và tăng hiệu suất ML thông qua bảng thông tin Giám sát đám mây. Ngoài ra, SparseCore dành cho Cloud TPU v5p hiện đã có sẵn rộng rãi, cải thiện đáng kể hiệu suất của các mô hình Đề xuất. Hiệu suất suy luận LLM cũng đã được tăng gấp đôi nhờ các tính năng mới của JetStream.