Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

サーバーレスコンピューティングの最新技術として、Cloud RunにNVIDIA RTX PRO™ 6000 Blackwell Server Edition GPUが導入されました。この統合により、ユーザーはGemma 3 27BやLlama 3.1 70Bといった大規模推論モデルを、手動によるクラスタ管理やVMのメンテナンスを必要とせずにデプロイできます。このサービスは、シームレスな「デプロイして忘れる」体験を約束し、予約の必要がなくなり、運用プロセスを簡素化します。

NVIDIAのRTX PRO 6000 Blackwell GPUは、96GBのvGPUメモリと1.6TB/sの帯域幅を誇り、従来モデルと比べて大幅なパフォーマンス向上を実現しています。このアップグレードにより、700億を超えるパラメータを持つモデルの処理が容易になります。Cloud Runユーザーは、これらのGPUをサービス、ジョブ、またはワーカープールにオンデマンドで接続できるようになり、ハイエンドの推論タスクの実行プロセスを効率化できます。

新しいGPUは、FP4精度をサポートし、リアルタイムAIアプリケーションの作成を可能にするため、生成AIおよび推論アプリケーションに特に有益です。Cloud Runの高速起動およびスケーリング機能により、インストールされたドライバーを備えたGPUインスタンスは5秒以内に準備完了となり、需要が減少すると自動的にゼロまでスケールダウンされます。さらに、GPUはモデルの微調整やコンテンツ制作の強化にも活用でき、特殊なワークロードに合わせてスケーリングを柔軟に調整できます。

Cloud Runは、本番環境でGPUアクセラレーションタスクを実行するためのシンプルなソリューションを提供するように設計されています。マネージドGPUに、最大44個のvCPUと176GBのRAMを含む柔軟なコンピューティングオプションを提供し、ゾーン冗長性により本番環境レベルの信頼性を確保します。このプラットフォームはGoogle Cloudと緊密に統合されており、Cloud Storageバケットのマウントと、Identity-Aware Proxy（IAP）による安全なトラフィック管理が可能です。