Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

NVIDIA đã công bố bản cập nhật cho nền tảng NeMo-RL, nâng cao khả năng đào tạo mô hình ngôn ngữ quy mô lớn. Mặc dù phiên bản ban đầu hỗ trợ PyTorch DTensor, nhu cầu về một giải pháp hiệu quả hơn đã trở nên rõ ràng khi các tham số mô hình tăng lên đến hàng trăm tỷ. Thư viện Megatron-Core của NVIDIA giải quyết vấn đề này bằng cách giảm thiểu chi phí liên quan đến việc kích hoạt mô hình quy mô lớn và cung cấp các hạt nhân CUDA được tối ưu hóa để cải thiện hiệu suất.

Bản phát hành NeMo-RL v0.3 mới nhất tích hợp Megatron-Core, cho phép các nhà phát triển đào tạo hậu kỳ hiệu quả các mô hình lớn. Thư viện tối ưu hóa giao tiếp và tính toán bằng cách sử dụng chiến lược song song hóa 6D và hỗ trợ nhiều kiến trúc mô hình. Khả năng tự động điều chỉnh và giao diện cấu hình thân thiện với người dùng của NeMo-RL giúp người dùng dễ dàng chuyển sang Megatron-Core.

Để sử dụng backend Megatron, người dùng chỉ cần sửa đổi tệp cấu hình YAML để kích hoạt các tính năng như điểm kiểm tra kích hoạt và song song hóa mô hình. Quy trình cấu hình được thiết kế dễ hiểu, đồng thời cung cấp tài liệu hướng dẫn chi tiết và các tập lệnh mẫu để hỗ trợ người dùng đào tạo hậu kỳ hiệu quả các mô hình của họ.

So sánh hiệu suất giữa Megatron-Core và PyTorch DTensor cho thấy Megatron-Core mang lại hiệu suất huấn luyện vượt trội, đặc biệt là đối với các mô hình dày đặc và mô hình Hỗn hợp Chuyên gia (MoE). Các cải tiến của NVIDIA như đóng gói chuỗi và lấy mẫu theo mức độ quan trọng góp phần tối ưu hóa thông lượng và hội tụ. Ngoài ra, nền tảng này hỗ trợ huấn luyện ngữ cảnh dài, mang lại hiệu suất tuyệt vời ngay cả với độ dài chuỗi lên đến 16.000 mã thông báo.

NVIDIA khuyến khích các nhà phát triển tham khảo tài liệu NeMo-RL và tận dụng các tối ưu hóa của Megatron-Core cho nhu cầu huấn luyện mô hình quy mô lớn sau huấn luyện. Với việc liên tục tối ưu hóa hiệu suất và các tính năng bổ sung sắp tới, NeMo-RL v0.3 hướng đến việc đạt được hiệu quả học tăng cường trên nhiều kích thước mô hình khác nhau.