Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

NVIDIA đã giới thiệu Chế độ Prometheus cho NCCL Inspector, bổ sung khả năng giám sát thời gian thực cho các khối lượng công việc huấn luyện AI phân tán. Tính năng này nhằm mục đích giúp các nhóm phân tích hiệu suất giao tiếp giữa các GPU và tăng tốc quá trình khắc phục sự cố trong các hoạt động học sâu quy mô lớn.

Theo công ty, chế độ mới tích hợp các chỉ số NCCL với Prometheus và Grafana, chuyển đổi dữ liệu giao tiếp thành hình ảnh trực quan theo chuỗi thời gian. Cách tiếp cận này giúp giảm yêu cầu lưu trữ so với quy trình phân tích ngoại tuyến dựa trên JSON trước đây, đồng thời cho phép quan sát liên tục trong suốt quá trình huấn luyện.

Theo các nguồn tin, nền tảng này theo dõi băng thông tổng thể, latency thực thi, số lượng nút, mã định danh GPU và cấu hình truyền tải trên toàn bộ môi trường NVLink và mạng được kết nối. NVIDIA cho biết các chỉ số này cho phép các kỹ sư cô lập các điểm nghẽn trong giao tiếp và liên hệ sự suy giảm hiệu suất với các bất thường về mạng hoặc cơ sở hạ tầng.

Công ty cũng đã trình diễn hệ thống bằng cách sử dụng khối lượng công việc huấn luyện trước mô hình ngôn ngữ lớn. Trong các thử nghiệm liên quan đến tắc nghẽn mạng nhân tạo, thông lượng tính toán trên mỗi GPU giảm khoảng 13%, trong khi bảng điều khiển Grafana làm nổi bật sự suy giảm băng thông trong các đường dẫn truyền thông mạng hỗn hợp và NVLink, cho phép phân tích nguyên nhân gốc nhanh hơn.