Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Mới đây, nền tảng điện toán phi máy chủ đã bổ sung hỗ trợ cho GPU NVIDIA RTX PRO™ 6000 Blackwell Server Edition vào dịch vụ Cloud Run của mình. Hiện đang trong giai đoạn thử nghiệm, tính năng mới này cho phép người dùng dễ dàng triển khai các mô hình suy luận quy mô lớn, chẳng hạn như Gemma 3 27B và Llama 3.1 70B, loại bỏ nhu cầu quản lý cụm thủ công và bảo trì máy ảo.

GPU NVIDIA RTX PRO 6000 Blackwell mang lại những cải tiến hiệu năng đáng kể so với các GPU NVIDIA L4 thế hệ trước. Với bộ nhớ vGPU 96GB và băng thông 1,6TB/giây, nó cho phép xử lý các mô hình với hơn 70 tỷ tham số. Giờ đây, người dùng có thể gắn các GPU này vào các dịch vụ, tác vụ hoặc nhóm worker của Cloud Run theo yêu cầu, mà không cần đặt trước.

Nền tảng này hỗ trợ độ chính xác FP4, giúp GPU NVIDIA RTX PRO 6000 Blackwell trở nên lý tưởng để tăng tốc các tác vụ Trí tuệ nhân tạo Generative AI) và suy luận. Nó tạo điều kiện thuận lợi cho việc tạo ra các ứng dụng Generative AI thời gian thực và cho phép mở rộng nhanh chóng các dịch vụ Cloud Run. Ngoài ra, nó còn cung cấp các tùy chọn mở rộng tùy chỉnh cho các khối lượng công việc chuyên biệt thông qua các nhóm công nhân được tăng tốc bằng GPU.

Cloud Run được thiết kế để đơn giản hóa việc chạy các tác vụ tăng tốc GPU trong môi trường sản xuất. Nó cung cấp các tùy chọn tính toán linh hoạt với GPU được quản lý và đảm bảo độ tin cậy ở cấp độ sản xuất với khả năng dự phòng vùng. Dịch vụ này được tích hợp chặt chẽ với toàn bộ hệ sinh thái đám mây để vận hành liền mạch. GPU NVIDIA RTX PRO 6000 Blackwell hiện có sẵn ở một số khu vực nhất định. Người dùng được khuyến khích dùng thử các khả năng của nó bằng cách sử dụng Ollama trên Cloud Run.