Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

Google（アメリカ合衆国）は、AI ハイパーコンピュータのソフトウェア レイヤの大幅なアップデートを発表。トレーニングと推論のパフォーマンス向上、復元力の強化、リソース管理の中央ハブを提供する。GitHub に新設された AI ハイパーコンピュータ リソースでは、MaxText や MaxDiffusion などのリファレンス実装、XPK オーケストレーション ツールが利用可能に。

NVIDIA（アメリカ合衆国）と協力し、MaxText は A3 Mega VM をサポート。これにより、GPU 間ネットワーク帯域幅が倍増し、大規模言語モデルのトレーニングが高速化。FP8 混合精度トレーニングにより、ハードウェア使用率の向上も実現。Google は、AQT を使用した FP8 トレーニングで、モデルの実効 FLOP 使用率が大幅に向上することを示す。

Google は MoE（Mixture of Experts）のリファレンス実装とカーネルも提供。これにより、エキスパートの数を調整し、モデルの柔軟性とパフォーマンスを向上させることが可能に。また、Cloud TPU 上で最適化された Pallas カーネルをオープンソース化し、MoE モデルのトレーニングをさらに高速化。

大規模トレーニングのモニタリングを容易にするため、リファレンス モニタリング レシピを導入。Cloud Monitoring ダッシュボードを通じて、リソース使用率の最大化と ML グッドプットの向上を支援。さらに、Cloud TPU v5p の SparseCore の一般提供を開始し、Recommender モデルのパフォーマンスを大幅に向上。LLM 推論のパフォーマンスも JetStream の新機能により倍増。