Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

NVIDIA đã công bố phát hành NCCL 2.26, tăng cường khả năng của Collective Communications Library (CCL) vốn rất cần thiết cho đào tạo học sâu đa GPU. Bản cập nhật giới thiệu một bộ tính năng nhằm cải thiện hiệu suất, giám sát và độ tin cậy cho các ứng dụng AI và điện toán hiệu suất cao (HPC). Các cải tiến chính bao gồm tối ưu hóa Kỹ thuật thuật toán song song (PAT), hỗ trợ cho thứ tự khởi chạy ngầm để ngăn chặn tình trạng bế tắc và tăng cường hỗ trợ cho nhân GPU và trình tạo hồ sơ mạng.

Phiên bản mới nhất của NCCL cũng giải quyết Chất lượng dịch vụ (QoS) cho truyền thông mạng, cải thiện việc phân bổ tài nguyên giữa các thiết bị truyền thông. Điều này đặc biệt hiệu quả đối với khối lượng công việc có nhiều loại truyền thông chồng chéo, chẳng hạn như đào tạo Mô hình ngôn ngữ lớn (LLM). Bản cập nhật này cho phép người dùng ưu tiên truyền thông quan trọng, cải thiện hiệu suất ứng dụng tổng thể.

Ngoài các cải tiến về hiệu suất, NCCL 2.26 còn cung cấp các cải tiến về độ tin cậy, tính khả dụng và khả năng bảo dưỡng (RAS). Bản cập nhật cải thiện tính ổn định với nhiều đầu ra chẩn đoán hơn, điều này rất cần thiết để xác định và giải quyết các sự cố trong các hoạt động đa GPU phức tạp. Nó cũng bao gồm nhiều bản sửa lỗi và cập nhật nhỏ, bao gồm hỗ trợ Direct NIC và giảm mức sử dụng bộ nhớ với NVLink SHARP.

Cam kết của NVIDIA trong việc cải thiện NCCL được thể hiện rõ qua các bản cập nhật và hỗ trợ liên tục cho thư viện. Các tính năng và cải tiến mới trong NCCL 2.26 dự kiến ​​sẽ tạo điều kiện cho việc tính toán song song hiệu quả hơn, trao quyền cho các nhà nghiên cứu và nhà phát triển để vượt qua ranh giới của AI và HPC. Để biết tổng quan chi tiết về các tính năng và bản sửa lỗi mới, hãy xem kho lưu trữ GitHub của NVIDIA.