コンピューティングインフラストラクチャーを設計および構築する従来の方法では、生成AIやLLMなどの急速に増大するワークロードの需要を満たすにはもはや十分ではない。その結果、コスト効率と拡張性の両方を備えた、AIに最適化されたインフラストラクチャーのニーズが高まっている。Googleは、Gen AIを可能にするGoogleのTransformerアーキテクチャーの作成から、数十億のユーザーにサービスを提供するGoogle製品に必要な世界規模とパフォーマンスを提供するように設計されたAIに最適化されたインフラストラクチャーに至るまで、20年にわたりAI機能の最前線に立ってきた。Google Cloudは現在、これまでで最もコスト効率が高く、多用途でスケーラブルなCloud TPUであるCloud TPU v5eの導入により、AIに最適化されたインフラストラクチャーポートフォリオを拡張している。TPU v5eは、Google Kubernetes Engine （GKE）、Vertex AI、およびPytorch、JAX、TensorFlowなどの主要なフレームワークとの統合を提供する。さらに、Google Cloudは、大規模なAIモデルを強化するために、NVIDIA H100 GPUをベースにしたA3 VMが来月一般提供されることも発表している。Cloud TPU v5eは、中規模および大規模なトレーニングと推論に必要なコスト効率とパフォーマンスを提供することを目的として構築されている。Cloud TPU v4と比較して、LLMおよびGen AIモデルについて1ドル当たり最大2倍のトレーニングパフォーマンスと、1ドル当たり最大2.5倍の推論パフォーマンスを提供する。TPU v5eは8つの異なる仮想マシン（VM）構成もサポートしているため、顧客は適切な構成を選択して、幅広いLLMおよびgen AIモデルサイズに対応できる。Google Cloudは、現在業界で最もスケーラブルな主要なKubernetesサービスであるGKEでCloud TPUを一般提供することで、TPUの操作を簡素化している。マネージドサービスのシンプルさを好む組織のために、Vertex AIはCloud TPU VMを使用したさまざまなフレームワークとライブラリーを使用したトレーニングをサポートするようになった。トレーニングジョブのスケールアップを容易にするために、Google Cloudはマルチスライステクノロジーを導入している。これにより、ユーザーは物理TPUポッドの境界を超えてAIモデルを簡単にスケールできるようになる。