Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Google Cloud đang tích cực giải quyết các thách thức dành riêng cho mạng mà các công ty triển khai mô hình ngôn ngữ quy mô lớn (LLM) cho các ứng dụng AI tổng hợp phải đối mặt. Không giống như các ứng dụng web truyền thống có mô hình lưu lượng truy cập có thể dự đoán được, các ứng dụng AI tổng quát có thời gian yêu cầu/phản hồi thay đổi và có thể chiếm toàn bộ tài nguyên GPU hoặc TPU, dẫn đến thời gian xử lý lâu hơn. Kỹ thuật quản lý giao thông truyền thống không đủ để quản lý hiệu quả việc này.

Để giải quyết các nhu cầu cụ thể của AI tổng hợp, Google Cloud đã giới thiệu một số tính năng mạng mới. Những cải tiến này được thiết kế để tối ưu hóa lưu lượng truy cập cho các ứng dụng AI và sử dụng hiệu quả tài nguyên GPU và TPU để cải thiện trải nghiệm của người dùng cuối. Khi những cải tiến như Vertex AI được tích hợp vào mạng đám mây, các công ty có thể tận dụng những tiến bộ này trên nhiều nền tảng LLM khác nhau.

Một trong những dịch vụ chính là mạng liên đám mây cho phép truyền dữ liệu tốc độ cao giữa các đám mây, điều này rất cần thiết để đào tạo các mô hình AI tổng hợp. Mạng tận dụng mạng toàn cầu của Google dành cho các ứng dụng phân tán nhằm cung cấp kết nối đáng tin cậy, an toàn và được hỗ trợ SLA. Ngoài ra, các điểm cuối mô hình dưới dạng dịch vụ được phát triển để hỗ trợ các ứng dụng suy luận AI cung cấp kết nối an toàn và cho phép khám phá và tái sử dụng các mô hình AI.

Google Cloud cũng giới thiệu tính năng cân bằng tải tùy chỉnh hỗ trợ AI để giảm thiểu độ trễ suy luận. Tính năng mới này cho phép bạn phân phối lưu lượng truy cập dựa trên các số liệu tùy chỉnh như độ sâu hàng đợi và duy trì thời gian phản hồi nhất quán. Ngoài ra, Mạng đám mây của Google bao gồm các tính năng tích hợp giúp các ứng dụng AI tổng hợp trở nên đáng tin cậy và hiệu quả hơn, chẳng hạn như kiểm tra tình trạng để cân bằng tải và phân chia lưu lượng truy cập có trọng số để tăng hiệu quả của mô hình.

Tiện ích mở rộng dịch vụ Cân bằng tải ứng dụng Google Cloud hiện đã có sẵn rộng rãi, cho phép bạn tích hợp các giải pháp và tùy chỉnh SaaS vào đường dẫn dữ liệu của mình. Điều này cải thiện trải nghiệm người dùng bằng cách cho phép nhanh chóng chặn các yêu cầu và chuyển đến mô hình phụ trợ thích hợp nhất.

Những cải tiến mạng này của Google Cloud thể hiện cam kết cung cấp các giải pháp cho phép doanh nghiệp tận dụng tối đa sức mạnh của AI và tối ưu hóa hiệu suất cũng như khả năng mở rộng của các ứng dụng AI tổng hợp của họ. nước xốt: