Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

NVIDIAは、Collective Communications Library（NCCL）バージョン2.28のアップデートを発表しました。このアップデートは、マルチGPUおよびマルチノードシステムのパフォーマンスを向上させます。このアップデートでは、GPU主導型ネットワークやデバイスAPIなどの機能が導入され、通信と計算のシームレスな融合を実現します。この統合により、スループットの向上、レーテンシーの低減、GPU利用率の最適化が実現します。

新リリースでは、デバイスAPIを介したカスタムデバイスカーネルの開発など、いくつかの重要な改善が行われています。これにより、カーネルによる直接的なネットワーク操作が容易になります。さらに、コピーエンジンベースのコレクティブの導入により、リソースの競合が最小限に抑えられ、より効率的なデータ転送が可能になります。NCCLインスペクターツールも導入され、通信パターンの継続的な監視と分析を可能にする、低オーバーヘッドのプロファイリングプラグインを提供します。

NCCL 2.28は、拡張されたAPIと改良されたツールを提供することで、開発者エクスペリエンスをさらに向上させます。本リリースでは、ホストを介さずにデータ移動を可能にするカーネル直接通信をサポートし、自律的なGPUネットワーク操作を実現するGPU-Initiated Networking（GIN）を導入しました。これらの進化は、開発プロセスを合理化し、より効率的でスケーラブルな分散アプリケーションの開発を可能にすることを目的としています。

開発者は、NCCL Inspectorが提供する改善されたプロファイリング機能と可観測性機能の恩恵を受けることができます。このツールは詳細なパフォーマンスログと分析を提供し、通信ワークフローの最適化を支援します。また、今回のアップデートには新しいホストAPIとグループ化された対称カーネルのサポートが含まれており、パフォーマンスチューニングとリソース管理の向上に貢献します。これらの機能強化により、NVIDIAのNCCL 2.28は、より効率的な分散トレーニングとアプリケーションのスケーリングを促進することが期待されます。