NVIDIA memperkenalkan Prometheus Mode untuk NCCL Inspector, menambahkan kemampuan pemantauan waktu nyata untuk beban kerja pelatihan AI terdistribusi. Fitur ini dimaksudkan untuk membantu tim menganalisis kinerja komunikasi GPU-ke-GPU dan mempercepat pemecahan masalah selama operasi pembelajaran mendalam skala besar.

Menurut perusahaan, mode baru ini mengintegrasikan metrik NCCL dengan Prometheus dan Grafana, mengubah data komunikasi menjadi visualisasi deret waktu. Pendekatan ini mengurangi kebutuhan penyimpanan dibandingkan dengan alur kerja analisis offline berbasis JSON sebelumnya, sekaligus memungkinkan pengamatan berkelanjutan selama pekerjaan pelatihan aktif.

Platform ini dilaporkan melacak bandwidth kolektif, latency eksekusi, jumlah node, pengidentifikasi GPU, dan konfigurasi transport di seluruh lingkungan NVLink dan yang terhubung ke jaringan. NVIDIA menyatakan bahwa metrik ini memungkinkan para insinyur untuk mengisolasi hambatan komunikasi dan menghubungkan perlambatan kinerja dengan anomali jaringan atau infrastruktur.

Perusahaan tersebut juga mendemonstrasikan sistem tersebut menggunakan beban kerja pra-pelatihan model bahasa yang besar. Dalam pengujian yang melibatkan kemacetan jaringan buatan, throughput komputasi per GPU menurun sekitar 13%, sementara dasbor Grafana menyoroti penurunan bandwidth pada jalur komunikasi jaringan campuran dan NVLink, memungkinkan analisis akar penyebab yang lebih cepat.