NVIDIA telah mengumumkan NeMo-RL, pustaka pasca-pelatihan sumber terbuka yang mendukung pengembangan AI interaktif melalui pembelajaran penguatan (RL). Pustaka ini merupakan komponen kerangka kerja NVIDIA NeMo dan dirancang untuk mendukung berbagai ukuran model, mulai dari prototipe GPU tunggal hingga model besar dengan hingga 32 miliar parameter. NeMo-RL menawarkan integrasi asli dengan model Hugging Face , pelatihan yang dioptimalkan, algoritma populer seperti DPO dan GRPO, serta orkestrasi berbasis Ray untuk mengelola alur kerja RL yang kompleks.

Arsitektur backend pustaka yang fleksibel merupakan fitur khas, yang memungkinkan penggunaan beberapa backend pelatihan dan peluncuran. Saat ini, pustaka ini mendukung model Hugging Face dengan paralelisme native PyTorch, dan berencana untuk memperkenalkan backend Megatron-Core untuk model yang lebih besar. Backend vLLM NeMo-RL digunakan untuk pembangkitan, dengan potensi untuk diperluas ke backend lain seperti NVIDIA TensorRT-LLM dan SGLang. Desain ini memungkinkan penskalaan yang mudah di berbagai konfigurasi GPU, tanpa mengikat implementasi algoritma tingkat tinggi ke detail backend tertentu.

NeMo-RL NVIDIA juga ramah pengguna dan menyederhanakan proses pelatihan untuk model inferensi rantai pemikiran yang panjang. Dengan mengikuti resep DeepScaleR, pengguna dapat melatih model seperti Qwen-1.5B dengan algoritma GRPO dan mencapai performa kompetitif pada benchmark seperti AIME24. Proses pelatihan terstruktur secara bertahap, dimulai dengan panjang sekuens maksimum yang pendek dan secara bertahap meningkatkannya untuk mengelola distribusi panjang sekuens peluncuran secara efektif.

Bagi para pengembang dan peneliti yang ingin memulai proyek pembelajaran penguatan, repositori NVIDIA NeMo-RL di GitHub menyediakan banyak sumber daya, termasuk dokumentasi, contoh skrip, berkas konfigurasi, dll. Pustaka ini terintegrasi dengan Hugging Face, dan desain modularnya menyediakan fondasi yang kuat untuk melatih dan menskalakan model pembelajaran penguatan secara efisien.