NVIDIA telah mengumumkan peluncuran NCCL 2.27, sebuah pembaruan yang meningkatkan performa komunikasi kolektif antar GPU. Versi terbaru ini mengatasi tantangan latency, efisiensi bandwidth, dan penskalaan yang penting untuk pelatihan AI dan inferensi real-time. Pembaruan ini mencakup kernel latensi rendah dengan memori simetris, dukungan NIC langsung, dukungan NVLink dan InfiniBand SHARP, yang semuanya bertujuan untuk meningkatkan efisiensi infrastruktur AI.

Dukungan memori simetris baru di NCCL 2.27 memungkinkan operasi kolektif yang dioptimalkan dengan menggunakan buffer beralamat virtual identik di seluruh GPU. Fitur ini secara signifikan mengurangi latency, terutama untuk ukuran pesan kecil, dan didukung oleh komunikasi NVLink dalam satu domain NVLink. Fitur ini juga memperkenalkan koneksi langsung ke NIC, memanfaatkan bandwidth jaringan secara maksimal dan menghindari kemacetan CPU, terutama untuk beban kerja berthroughput tinggi.

Selain itu, NCCL 2.27 menambahkan dukungan SHARP untuk jaringan NVLink dan InfiniBand guna mengurangi beban tugas-tugas komputasi intensif dan meningkatkan skalabilitas serta performa untuk pelatihan skala besar. Pembaruan ini juga mencakup ""Communicator Shrink"", sebuah fitur yang meningkatkan toleransi kesalahan untuk pelatihan terdistribusi dengan mengecualikan GPU yang gagal atau tidak diperlukan secara dinamis.

Bagi para pengembang, NCCL 2.27 menghadirkan fitur-fitur baru seperti API memori simetris dan profiling yang disempurnakan. Peningkatan ini menyediakan instrumentasi yang lebih presisi untuk mendiagnosis kinerja komunikasi dan memungkinkan operasi kolektif berkinerja tinggi dan berlatensi rendah. Rilis ini juga menyederhanakan infrastruktur profiling, mengurangi overhead, dan menyediakan pelacakan progres komunikasi yang lebih jelas.

NVIDIA mendorong para pengembang untuk memanfaatkan fitur-fitur baru di NCCL 2.27 dan membantu meningkatkan alur kerja inferensi dan pelatihan terdistribusi. Dokumentasi detail, kode sumber, dan dukungan tersedia di repositori GitHub NVIDIA/nccl.