Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

2024 年の終盤には、第 6 世代 TPU である Trillium や、NVIDIA H200 GPU を搭載した A3 Ultra VM のリリースなど、AI インフラストラクチャの一連の進歩が発表されました。これらの開発では、 Google Kubernetes Engine での拡張ノード クラスターのサポートや、高性能コンピューティングと AI ワークロード向けに設計された分散ファイル システムである Parallelstore のリリースも導入されました。これらのツールにより、開発者が AI ソリューションを作成する能力が向上することが期待されています。

最適化されたハードウェア、オープン ソフトウェア、柔軟な消費モデルを統合した包括的なシステムである AI ハイパーコンピュータも紹介されました。このアプローチにより、開発者は特定のワークロード要件に合わせてさまざまなインフラストラクチャ コンポーネントを選択できるようになり、 Google Cloud での AI ソリューション開発のための多目的プラットフォームが提供されます。

アップデートの中には、分散ワークロードを強化する A3 Ultra VM と Hypercompute Cluster が一般提供されたものもあります。NVIDIA H200 GPU を搭載した A3 Ultra VM は、GPU 間のネットワーク帯域幅とメモリを強化し、Hypercompute Cluster は、多数のアクセラレータの展開と管理を効率化するスーパーコンピューティング サービス プラットフォームを提供します。

LG Research はすでにこれらの新しいサービスを活用し始めており、同社の AI インフラ シニア エンジニアである Jiyeon Jung 氏は、A3 Ultra VM とハイパーコンピューティング クラスターが AI プロジェクトにもたらすパフォーマンスの向上とスケーラビリティを高く評価しています。クラスターのセットアップと実行の容易さも、大きな改善点として挙げられています。

さらに、AI エージェントの推論スループットを向上させるために Trillium TPU が導入され、以前の世代と比較して 3 倍の増加が報告されています。Google Cloudは、 Vertex AI や Cloud TPU 向けにカスタマイズされたその他のツールなど、これらの TPU を活用するさまざまな方法を提供しています。PyTorch/XLA 2.5 を使用した TPU 上の vLLM の実験的サポートも発表されており、ユーザーは既存のセットアップで Cloud TPU のパフォーマンス上の利点を探索できます。