Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Cloud Run giới thiệu công nghệ mới nhất trong điện toán phi máy chủ: GPU NVIDIA RTX PRO™ 6000 Blackwell Server Edition. Sự tích hợp này cho phép người dùng triển khai các mô hình suy luận quy mô lớn, chẳng hạn như Gemma 3 27B và Llama 3.1 70B, mà không cần quản lý cụm máy chủ thủ công hoặc bảo trì máy ảo. Dịch vụ này hứa hẹn trải nghiệm "triển khai và quên đi" liền mạch, loại bỏ nhu cầu đặt trước và đơn giản hóa các quy trình vận hành.

GPU RTX PRO 6000 Blackwell của NVIDIA sở hữu 96GB bộ nhớ vGPU và băng thông 1,6TB/giây, mang lại hiệu năng được cải thiện đáng kể so với thế hệ tiền nhiệm. Việc nâng cấp này giúp xử lý các mô hình với hơn 70 tỷ tham số dễ dàng hơn. Người dùng Cloud Run giờ đây có thể gắn các GPU này vào dịch vụ, công việc hoặc nhóm worker của họ theo yêu cầu, giúp đơn giản hóa quá trình chạy các tác vụ suy luận cao cấp.

Các GPU mới đặc biệt có lợi cho Trí tuệ Generative AI) và các ứng dụng suy luận, vì chúng hỗ trợ độ chính xác FP4 và cho phép tạo ra các ứng dụng AI thời gian thực. Khả năng khởi chạy và mở rộng nhanh chóng của Cloud Run đảm bảo rằng các phiên bản GPU có trình điều khiển đã được cài đặt sẵn sàng trong vòng chưa đầy năm giây và tự động thu nhỏ xuống 0 khi nhu cầu giảm. Ngoài ra, GPU có thể được sử dụng để tinh chỉnh các mô hình và nâng cao khả năng tạo nội dung, cung cấp khả năng mở rộng linh hoạt cho các khối lượng công việc chuyên biệt.

Cloud Run được thiết kế để cung cấp giải pháp đơn giản cho việc chạy các tác vụ tăng tốc GPU trong môi trường sản xuất. Nó cung cấp các tùy chọn điện toán linh hoạt, bao gồm tối đa 44 vCPU và 176GB RAM, với GPU được quản lý và khả năng dự phòng vùng để đảm bảo độ tin cậy ở cấp độ sản xuất. Nền tảng này được tích hợp chặt chẽ với Google Cloud, cho phép bạn gắn kết các nhóm lưu trữ Cloud Storage và quản lý lưu lượng truy cập một cách an toàn với Identity-Aware Proxy (IAP).