Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

NVIDIA vừa công bố bản cập nhật cho Thư viện Truyền thông Tập thể (NCCL) phiên bản 2.28, cải thiện hiệu suất cho các hệ thống đa GPU và đa nút. Bản cập nhật giới thiệu các tính năng như mạng lưới điều khiển bằng GPU và API thiết bị, cho phép kết hợp liền mạch giữa truyền thông và tính toán. Sự tích hợp này cải thiện thông lượng, giảm latency và tối ưu hóa việc sử dụng GPU.

Bản phát hành mới mang đến một số cải tiến quan trọng, bao gồm khả năng phát triển kernel thiết bị tùy chỉnh thông qua API thiết bị, giúp kernel dễ dàng thao tác trực tiếp trên mạng. Ngoài ra, việc giới thiệu các tập hợp dựa trên công cụ sao chép giúp giảm thiểu tranh chấp tài nguyên và cho phép truyền dữ liệu hiệu quả hơn. Công cụ NCCL Inspector cũng được giới thiệu, cung cấp một plugin lập hồ sơ chi phí thấp, cho phép continuous monitoring các mô hình giao tiếp.

NCCL 2.28 nâng cao hơn nữa trải nghiệm của nhà phát triển bằng cách cung cấp API mở rộng và các công cụ được cải tiến. Phiên bản này hỗ trợ giao tiếp trực tiếp với nhân, cho phép di chuyển dữ liệu mà không cần sự can thiệp của máy chủ, và giới thiệu Mạng khởi tạo GPU (GIN), cho phép vận hành mạng GPU tự động. Những cải tiến này nhằm mục đích hợp lý hóa quy trình phát triển và cho phép tạo ra các ứng dụng phân tán hiệu quả và có khả năng mở rộng hơn.

Các nhà phát triển có thể hưởng lợi từ các tính năng lập hồ sơ và khả năng quan sát được cải thiện do NCCL Inspector cung cấp. Công cụ này cung cấp nhật ký hiệu suất chi tiết và phân tích để giúp tối ưu hóa quy trình làm việc giao tiếp. Bản cập nhật này cũng bao gồm hỗ trợ API máy chủ mới và các hạt nhân đối xứng được nhóm lại, góp phần cải thiện hiệu suất và quản lý tài nguyên. Với những cải tiến này, NCCL 2.28 của NVIDIA dự kiến ​​sẽ hỗ trợ đào tạo phân tán và mở rộng ứng dụng hiệu quả hơn.