Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Các nhà khoa học dữ liệu thường được giao nhiệm vụ đào tạo các mô hình lớn trên các bộ dữ liệu mở rộng. XGBoost, một khung tăng cường độ dốc mạnh mẽ, là một công cụ phổ biến do tốc độ và hiệu suất của nó trên dữ liệu dạng bảng lớn. Về lý thuyết, việc sử dụng nhiều GPU sẽ tăng đáng kể sức mạnh tính toán và tăng tốc độ đào tạo mô hình. Tuy nhiên, nhiều người dùng cảm thấy khó tận dụng chức năng này thông qua Dask XGBoost, thư viện Python nguồn mở linh hoạt để tính toán song song. Quá trình đào tạo Dask XGBoost thường liên quan đến việc xử lý lỗi hết bộ nhớ (OOM) ở nhiều giai đoạn khác nhau, bao gồm tải dữ liệu đào tạo, chuyển đổi DataFrame từ định dạng XGBoost sang DMatrix và trong quá trình đào tạo mô hình thực tế. Việc giải quyết những vấn đề về bộ nhớ này rất khó, nhưng những lợi ích tiềm tàng của việc đào tạo đa GPU khiến việc đào tạo này trở nên bổ ích. Bài viết này giải thích cách tối ưu hóa Dask XGBoost với nhiều GPU và quản lý lỗi bộ nhớ. Việc đào tạo XGBoost trên các tập dữ liệu lớn đặt ra nhiều thách thức khác nhau. Ví dụ: bộ dữ liệu Thử thách phân loại sản phẩm của Tập đoàn Otto, có 180 triệu hàng và 152 cột và tổng dung lượng 110 GB khi được tải vào bộ nhớ, được sử dụng để minh họa vấn đề OOM và giải pháp của nó. Các vấn đề được đề cập bao gồm cài đặt phiên bản RAPIDS mới nhất và phiên bản XGBoost chính xác, đặt biến môi trường, xử lý lỗi OOM và sử dụng UCX-py để tăng tốc hơn nữa. XGBoost trên kênh Rapidsai được xây dựng với plugin RMM được kích hoạt để mang lại hiệu suất tối ưu khi đào tạo nhiều GPU.