Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

NVIDIA vừa công bố NeMo-RL, một thư viện hậu huấn luyện mã nguồn mở hỗ trợ phát triển AI tương tác thông qua học tăng cường (RL). Thư viện này là một thành phần của nền tảng NVIDIA NeMo và được thiết kế để hỗ trợ nhiều kích thước mô hình, từ nguyên mẫu GPU đơn đến các mô hình lớn với tối đa 32 tỷ tham số. NeMo-RL tự hào tích hợp sẵn với mô hình Hugging Face , đào tạo được tối ưu hóa, các thuật toán phổ biến như DPO và GRPO, cùng khả năng điều phối dựa trên Ray để quản lý các đường ống RL phức tạp.

Kiến trúc backend linh hoạt của thư viện là một tính năng đặc biệt, cho phép sử dụng nhiều backend huấn luyện và triển khai. Hiện tại, thư viện hỗ trợ mô hình Hugging Face với tính năng song song gốc của PyTorch, và dự kiến sẽ giới thiệu backend Megatron-Core cho các mô hình lớn hơn. Backend vLLM của NeMo-RL được sử dụng để tạo backend, với tiềm năng mở rộng sang các backend khác như NVIDIA TensorRT-LLM và SGLang. Thiết kế này cho phép dễ dàng mở rộng trên các cấu hình GPU khác nhau, mà không cần gắn các triển khai thuật toán cấp cao vào chi tiết của một backend cụ thể.

NeMo-RL của NVIDIA cũng thân thiện với người dùng và đơn giản hóa quy trình huấn luyện cho các mô hình suy luận chuỗi suy nghĩ dài. Bằng cách làm theo công thức DeepScaleR, người dùng có thể huấn luyện các mô hình như Qwen-1.5B bằng thuật toán GRPO và đạt được hiệu suất cạnh tranh trên các chuẩn như AIME24. Quy trình huấn luyện được cấu trúc theo từng giai đoạn, bắt đầu với độ dài chuỗi tối đa ngắn và tăng dần để quản lý hiệu quả việc phân phối độ dài chuỗi triển khai.

Đối với các nhà phát triển và nhà nghiên cứu muốn bắt đầu một dự án học tăng cường, kho lưu trữ NVIDIA NeMo-RL trên GitHub cung cấp nhiều tài nguyên, bao gồm tài liệu, tập lệnh mẫu, tệp cấu hình, v.v. Thư viện được tích hợp với Hugging Face và thiết kế mô-đun của nó cung cấp nền tảng vững chắc để đào tạo và mở rộng hiệu quả các mô hình học tăng cường.