Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

NVIDIA（米カリフォルニア州）は、分散ディープラーニング向け通信ライブラリ「NCCL」において、リアルタイム監視機能「NCCL Inspector Prometheus Mode」を追加したと発表した。AI学習時のGPU間通信性能を継続的に可視化し、障害原因の特定や性能分析を迅速化する狙いがあるという。

同機能では、NCCL通信メトリクスをPrometheusと連携し、Grafana上で時系列ダッシュボードとして可視化可能としたとのこと。従来のJSONベース解析では大量のストレージが必要だったが、Prometheusモードではリアルタイム転送により保存負荷を抑制できるとしている。

また、通信帯域や実行時間などの情報に加え、SlurmジョブIDやGPU識別子、ノード数、通信方式などのラベル情報も付与されるという。NVLink専用通信とネットワーク混在通信を区別して監視でき、AI学習時の性能低下要因を詳細に分析できる点が特徴とされる。

同社は、大規模LLM事前学習環境における検証事例も公開した。ネットワーク制約を加えた環境では、GPUあたりの演算性能が約13%低下し、Grafanaダッシュボード上で混合通信帯域の異常が確認できたとしている。今後はAIワークロード向けネットワーク観測性向上をさらに進める方針とみられる。