Googleの最新のMLPerf3.1 Inferenceベンチマークは、最新のAIモデルの増大する計算需要を満たす同社の能力を浮き彫りにしている。Google Cloud推論システムは、既存のソリューションと比較して、パフォーマンスが2～4倍向上し、コスト効率が2倍以上向上する。Google Cloudは、NVIDIA GPUとGoogle Cloudのカスタムテンソルプロセッサーユニット（TPU）の両方を搭載した、高性能でコスト効率が高く、スケーラブルなAI推論ソリューションを幅広く提供する唯一のクラウドプロバイダーとして際立っている。Google CloudとNVIDIAは、最先端のGPUアクセラレーション推論プラットフォームを顧客に提供するために提携した。NVIDIAのA100 GPUを搭載したA2 VMと並んで、最近発売されたG2 VMは、NVIDIA L4 TensorコアGPUを搭載した最初で唯一のクラウド製品だ。Google Cloud Nextで新たに発表されたCloud TPU v5eは、最新の最先端LLMや生成AIモデルを含む、幅広いAIワークロードに対して高性能でコスト効率の高い推論を提供する。Cloud TPU v5eは、効率、拡張性、多用途性を考慮して設計されており、高スループットで低遅延の推論パフォーマンスを実現する。各TPU v5eチップは、1秒当たり最大393兆のint8演算（TOPS）を実行でき、最も複雑なモデルの迅速な予測を可能にする。GPUとTPUを活用した高性能でコスト効率の高いAI推論オプションを包括的に選択できるGoogle Cloudは、組織がAIワークロードを大規模に高速化できるよう独自の機能を備えている。