Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

NVIDIA vừa công bố phát hành NCCL 2.27, một bản cập nhật cải thiện hiệu suất giao tiếp tập thể giữa các GPU. Phiên bản mới nhất này giải quyết các thách thức latency, hiệu quả băng thông và khả năng mở rộng, vốn rất cần thiết cho cả huấn luyện AI và suy luận thời gian thực. Bản cập nhật bao gồm các kernel có độ trễ thấp với bộ nhớ đối xứng, hỗ trợ NIC trực tiếp, hỗ trợ NVLink và InfiniBand SHARP, tất cả đều nhằm mục đích cải thiện hiệu quả của cơ sở hạ tầng AI.

Hỗ trợ bộ nhớ đối xứng mới trong NCCL 2.27 cho phép tối ưu hóa các hoạt động tập thể bằng cách sử dụng bộ đệm có địa chỉ ảo giống hệt nhau trên các GPU. Tính năng này giảm đáng kể latency, đặc biệt là đối với các kích thước tin nhắn nhỏ, và được hỗ trợ bởi giao tiếp NVLink trong một miền NVLink duy nhất. Nó cũng giới thiệu các kết nối trực tiếp đến NIC, tận dụng tối đa băng thông mạng và tránh tắc nghẽn CPU, đặc biệt là đối với các khối lượng công việc thông lượng cao.

Ngoài ra, NCCL 2.27 bổ sung hỗ trợ SHARP cho các nền tảng NVLink và InfiniBand để giảm tải các tác vụ tính toán chuyên sâu và cải thiện khả năng mở rộng cũng như hiệu suất cho đào tạo quy mô lớn. Bản cập nhật cũng bao gồm ""Communicator Shrink"", một tính năng cải thiện khả năng chịu lỗi cho đào tạo phân tán bằng cách tự động loại trừ các GPU bị lỗi hoặc không cần thiết.

Đối với các nhà phát triển, NCCL 2.27 cung cấp các tính năng mới như API bộ nhớ đối xứng và tính năng lập hồ sơ nâng cao. Những cải tiến này cung cấp công cụ chẩn đoán hiệu suất truyền thông chính xác hơn và cho phép các hoạt động tập thể hiệu suất cao, độ trễ thấp. Bản phát hành này cũng tinh giản cơ sở hạ tầng lập hồ sơ, giảm thiểu chi phí và cung cấp khả năng theo dõi tiến độ truyền thông rõ ràng hơn.

NVIDIA khuyến khích các nhà phát triển tận dụng các tính năng mới trong NCCL 2.27 và giúp cải thiện quy trình suy luận phân tán và đào tạo. Tài liệu chi tiết, mã nguồn và hỗ trợ có sẵn trong kho lưu trữ NVIDIA/nccl GitHub .