Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

NVIDIAは、大規模言語モデル（LLM）の学習と大規模動画生成の効率を向上させるために設計された、Megatron Coreフレームワークに、Dynamic Context Parallelism（Dynamic-CP）と呼ばれる新しいスケジューリング手法を導入しました。この手法は、各マイクロバッチのコンテキスト並列性（CP）サイズを動的に調整することで、実世界のデータセットによく見られる可変長シーケンスをより効率的に処理することを可能にします。Dynamic-CPの実装により、このようなデータセットで最大1.48倍の高速化が実証され、計算リソースの最適化におけるその可能性が示されました。

大規模モデルの学習における課題は、データ内のシーケンス長のばらつきにあり、これが計算ボトルネックにつながる可能性があります。サンプルレベルのパッキングなどの従来の手法では、短いシーケンスを単一のマイクロバッチにまとめることでこの問題に対処しようとします。しかし、ドット積アテンションの二次関数的な性質により、計算ワークロードの不均衡やGPUのアイドル状態が発生する可能性があります。Dynamic-CPは、パックされたシーケンスに合わせてCPサイズを調整することでこれらの問題に対処し、計算効率の低さを軽減し、リソース利用率を向上させます。

Dynamic-CPは、ソルバーによって決定される最適なパッキング戦略に基づき、各マイクロバッチに適切なCPサイズを選択することで動作します。このソルバーは可変長シーケンスを考慮し、GPUメモリ制約を遵守しながら最も効率的なパッキングとCPサイズを計算します。ソルバーは計算コストと通信コストをモデル化することで、データ並列性の不均衡とCPの非効率性を軽減することを目指しています。この動的なアプローチは、バッチ内の最長シーケンスに基づいてCPサイズを固定する静的手法とは対照的です。静的手法は、CP通信のオーバーヘッドを不必要に発生させることがよくあります。

Megatron Coreフレームワークは、Dynamic-CPをサポートするように変更されました。これには、ランクごとに複数のCPグループを構築し、動的な再スケジューリングとデータパッキングを管理するための軽量なdata_iterator_wrapperを導入することが含まれます。このアプローチにより、既存のスケジューリングロジックへの変更が最小限に抑えられ、パイプラインステージ全体で一貫した実行が保証されます。Dynamic-CPのメリットは、パイプラインバブルとデータ並列の不均衡を軽減する能力に顕著に表れており、モデルトレーニングのパフォーマンスを大幅に向上させます。Megatron CoreのGitHubリポジトリには、これらの最適化を用いて可変長シーケンスを持つモデルをトレーニングすることに関心のある方向けのリソースが用意されています。