Cloud Run memperkenalkan teknologi terbaru dalam komputasi tanpa server: GPU NVIDIA RTX PRO™ 6000 Blackwell Server Edition. Integrasi ini memungkinkan pengguna untuk menerapkan model inferensi skala besar, seperti Gemma 3 27B dan Llama 3.1 70B, tanpa perlu manajemen klaster manual atau pemeliharaan VM. Layanan ini menjanjikan pengalaman "terapkan dan lupakan" yang mulus, menghilangkan kebutuhan reservasi dan menyederhanakan proses operasional.

GPU NVIDIA RTX PRO 6000 Blackwell menawarkan memori vGPU 96GB dan bandwidth 1,6TB/s, memberikan peningkatan kinerja yang signifikan dibandingkan pendahulunya. Peningkatan ini mempermudah pemrosesan model dengan lebih dari 70 miliar parameter. Pengguna Cloud Run kini dapat memasang GPU ini ke layanan, pekerjaan, atau kumpulan pekerja mereka sesuai permintaan, sehingga menyederhanakan proses menjalankan tugas inferensi tingkat tinggi.

GPU baru ini sangat bermanfaat untuk aplikasi Generative AI dan inferensi, karena mendukung presisi FP4 dan memungkinkan pembuatan aplikasi AI real-time. Kemampuan peluncuran dan penskalaan cepat Cloud Run memastikan bahwa instance GPU dengan driver terpasang siap dalam waktu kurang dari lima detik dan secara otomatis mengurangi kapasitas hingga nol saat permintaan menurun. Selain itu, GPU dapat digunakan untuk menyempurnakan model dan meningkatkan pembuatan konten, memberikan penskalaan fleksibel untuk beban kerja khusus.

Cloud Run dirancang untuk menyediakan solusi sederhana untuk menjalankan tugas yang dipercepat GPU di lingkungan produksi. Platform ini menawarkan opsi komputasi yang fleksibel, termasuk hingga 44 vCPU dan 176GB RAM, dengan GPU terkelola dan redundansi zona untuk memastikan keandalan tingkat produksi. Platform ini terintegrasi erat dengan Google Cloud, memungkinkan Anda untuk memasang bucket Cloud Storage dan mengelola lalu lintas secara aman dengan Identity-Aware Proxy (IAP).