Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

NVIDIAは、GPU間の集合通信のパフォーマンスを向上させるアップデートであるNCCL 2.27のリリースを発表しました。この最新バージョンは、AIトレーニングとリアルタイム推論の両方に不可欠なレーテンシー、帯域幅効率、スケーリングの課題に対処しています。このアップデートには、対称メモリを備えた低レイテンシカーネル、直接NICサポート、NVLinkおよびInfiniBand SHARPサポートが含まれており、これらはすべてAIインフラストラクチャの効率向上を目的としています。

NCCL 2.27の新しい対称メモリサポートにより、GPU間で同一の仮想アドレスを持つバッファを使用することで、最適化された集合演算が可能になります。この機能は、特にメッセージサイズが小さい場合にレーテンシーを大幅に削減し、単一のNVLinkドメイン内のNVLink通信でサポートされます。また、NICへの直接接続も導入され、ネットワーク帯域幅を最大限に活用し、CPUボトルネックを回避できるため、特に高スループットのワークロードに効果的です。

さらに、NCCL 2.27では、NVLinkおよびInfiniBandファブリック向けのSHARPサポートが追加され、計算負荷の高いタスクのオフロードと、大規模トレーニングのスケーラビリティとパフォーマンスの向上を実現します。また、このアップデートには、障害が発生したGPUや不要なGPUを動的に除外することで分散トレーニングの耐障害性を向上させる機能「Communicator Shrink」も含まれています。

開発者向けに、NCCL 2.27では対称メモリAPIや強化されたプロファイリングなどの新機能が提供されます。これらの改善により、通信パフォーマンスの診断のためのより正確なインストルメンテーションが提供され、高パフォーマンスで低レイテンシの集合操作が可能になります。また、このリリースではプロファイリングインフラストラクチャが合理化され、オーバーヘッドが削減され、通信の進行状況の追跡がより明確になります。

NVIDIAは、開発者の皆様にNCCL 2.27の新機能を活用して、分散推論およびトレーニングワークフローの改善にご協力いただくことを推奨いたします。詳細なドキュメント、ソースコード、サポートは、NVIDIA/nccl GitHubリポジトリでご覧いただけます。