Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

大規模機械学習の分野では、ストラグラー（障害）が大きな課題となります。強力なシステムであっても、単一のコンポーネントの遅延によってパフォーマンスが低下する可能性があります。「ストラグラー」と呼ばれるこれらのパフォーマンスの低いノードは、システム全体に影響を及ぼすボトルネックを引き起こし、学習時間に大きな遅延を引き起こす可能性があります。この問題に対処するには、平均中断時間（MTBI）の改善と平均復旧時間（MTTR）の短縮に重点を置くことが重要です。復旧プロセスには、問題の検出、障害箇所の特定、システムの再構成、そして再発防止のための根本原因分析が含まれます。

大規模な分散トレーニングでは同期が必要となるため、遅れたノードがドミノ効果を引き起こし、数千台のアクセラレータに遅延が波及する可能性があります。この非効率性はパフォーマンスの大幅な低下につながり、ワークロードのパフォーマンスが60～70%低下する可能性があります。このような速度低下の原因を特定するのは複雑な作業であり、多くの場合、数時間から数日かかる大規模な手動デバッグが必要になります。

従来の監視ツールは、コンポーネントを個別に分析し、システムのパフォーマンスを不完全な形で把握する傾向があるため、ストラグラーを正確に特定することがしばしば困難でした。そこで、因果分析に基づく新しいアプローチが採用されました。このアプローチでは、システムを時間的に制約のある相互作用が相互接続されたグラフとして捉えます。この手法では、ノード間の相互作用をマッピングする通信グラフを構築し、グラフトラバーサルアルゴリズムを用いてパフォーマンス低下の因果関係を追跡します。この自動化されたプロセスにより、ストラグラーの特定にかかる時間が大幅に短縮され、迅速な解決と、健全なインフラストラクチャへのワークロードの再スケジュールが可能になります。

大規模モデルのトレーニングにGoogle Cloudを活用している企業は、既にこの自動ストラグラー検出のメリットを享受しています。例えば、Magic社は、数千基のGPUを用いたフロンティアLLMのトレーニング中に、ストラグラーノードの特定において顕著な改善を実現しました。同様に、Allen Institute for AIGoogleこのサービスの導入により研究生産性の向上を実現しました。Google CloudのCluster Directorは、この自動ストラグラー検出を常時接続サービスとして提供しており、ユーザーはGPUクラスタを監視し、パフォーマンスの問題が発生した場合に迅速に対処できます。