Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

最近の開発で、サーバーレスコンピューティングプラットフォームがCloud RunサービスでNVIDIA RTX PRO™ 6000 Blackwell Server Edition GPUのサポートを開始しました。現在プレビュー段階にあるこの新機能により、ユーザーはGemma 3 27BやLlama 3.1 70Bといった大規模推論モデルを容易にデプロイでき、手動によるクラスタ管理やVMメンテナンスの手間が省けます。

NVIDIA RTX PRO 6000 Blackwell GPUは、前世代のNVIDIA L4 GPUと比べて大幅なパフォーマンス向上を実現しています。96GBのvGPUメモリと1.6TB/sの帯域幅を誇り、700億を超えるパラメータを持つモデルの処理を可能にします。ユーザーは、事前予約なしで、これらのGPUをCloud Runサービス、ジョブ、またはワーカープールにオンデマンドで接続できるようになりました。

このプラットフォームはFP4精度をサポートしているため、NVIDIA RTX PRO 6000 Blackwell GPUは生成AIや推論タスクの高速化に最適です。リアルタイム生成AIアプリケーションの作成を容易にし、Cloud Runサービスの迅速なスケーリングを可能にします。さらに、GPU対応ワーカープールを通じて、特殊なワークロード向けにカスタマイズされたスケーリングオプションも提供します。

Cloud Runは、本番環境でのGPUアクセラレーションタスクの実行を簡素化するように設計されています。マネージドGPUに柔軟なコンピューティングオプションを提供し、ゾーン冗長性により本番環境レベルの信頼性を確保します。このサービスはクラウドエコシステム全体と緊密に統合されており、シームレスな運用を可能にします。NVIDIA RTX PRO 6000 Blackwell GPUは一部のリージョンでご利用いただけます。ユーザーは、Cloud Run上でOllamaを使用してその機能を試してみることをお勧めします。