NVIDIA telah mengumumkan peluncuran NCCL 2.26, yang meningkatkan kemampuan Collective Communications Library (CCL) yang penting untuk pelatihan deep learning multi-GPU. Pembaruan ini memperkenalkan serangkaian fitur yang ditujukan untuk meningkatkan kinerja, pemantauan, dan keandalan untuk aplikasi AI dan komputasi kinerja tinggi (HPC). Peningkatan utama meliputi pengoptimalan Parallel Algorithm Technique (PAT), dukungan untuk urutan peluncuran implisit guna mencegah kebuntuan, dan dukungan yang ditingkatkan untuk kernel GPU dan profiler jaringan.

Versi terbaru NCCL juga membahas Quality of Service (QoS) untuk komunikasi jaringan, yang meningkatkan alokasi sumber daya di antara perangkat komunikasi. Hal ini khususnya efektif untuk beban kerja dengan berbagai jenis komunikasi yang tumpang tindih, seperti pelatihan Large Language Model (LLM). Pembaruan ini memungkinkan pengguna untuk memprioritaskan komunikasi penting, sehingga meningkatkan kinerja aplikasi secara keseluruhan.

Selain peningkatan kinerja, NCCL 2.26 juga menghadirkan peningkatan keandalan, ketersediaan, dan kemudahan servis (RAS). Pembaruan ini meningkatkan stabilitas dengan keluaran diagnostik yang lebih banyak, yang penting untuk mengidentifikasi dan menyelesaikan masalah dalam operasi multi-GPU yang kompleks. Pembaruan ini juga mencakup berbagai perbaikan bug dan pembaruan kecil, termasuk dukungan untuk Direct NIC dan pengurangan penggunaan memori dengan NVLink SHARP.

Komitmen NVIDIA untuk meningkatkan NCCL terbukti dari pembaruan dan dukungan berkelanjutan terhadap pustaka tersebut. Fitur-fitur baru dan penyempurnaan dalam NCCL 2.26 diharapkan dapat memfasilitasi komputasi paralel yang lebih efisien, memberdayakan para peneliti dan pengembang untuk mendorong batasan AI dan HPC. Untuk ikhtisar terperinci tentang fitur-fitur baru dan perbaikan, lihat repositori GitHub NVIDIA.