NVIDIA telah mengumumkan pembaruan untuk platform NeMo-RL-nya, yang meningkatkan kemampuan pelatihan model bahasa skala besar. Meskipun rilis awal mendukung PyTorch DTensor, kebutuhan akan solusi yang lebih efisien menjadi jelas seiring bertambahnya parameter model hingga mencapai ratusan miliar. Pustaka Megatron-Core NVIDIA mengatasi masalah ini dengan mengurangi overhead yang terkait dengan aktivasi model skala besar dan menyediakan kernel CUDA yang dioptimalkan untuk meningkatkan kinerja.

Rilis NeMo-RL v0.3 terbaru mengintegrasikan Megatron-Core, memungkinkan pengembang untuk melakukan pasca-pelatihan model besar secara efisien. Pustaka ini mengoptimalkan komunikasi dan komputasi dengan menggunakan strategi paralelisasi 6D dan mendukung beragam arsitektur model. Kemampuan penyetelan otomatis NeMo-RL dan antarmuka konfigurasi yang ramah pengguna memudahkan pengguna untuk bermigrasi ke Megatron-Core.

Untuk memanfaatkan backend Megatron, pengguna cukup memodifikasi berkas konfigurasi YAML untuk mengaktifkan fitur-fitur seperti titik pemeriksaan aktivasi dan paralelisme model. Proses konfigurasi dirancang agar mudah dipahami, dan dokumentasi terperinci serta contoh skrip disediakan untuk membantu pengguna dalam pasca-pelatihan model mereka secara efisien.

Perbandingan performa antara Megatron-Core dan PyTorch DTensor menunjukkan bahwa Megatron-Core memberikan performa pelatihan yang unggul, terutama untuk model padat dan model Campuran Pakar (MoE). Peningkatan NVIDIA seperti pengemasan sekuens dan pengambilan sampel penting berkontribusi pada throughput dan konvergensi yang optimal. Selain itu, platform ini mendukung pelatihan konteks panjang, memberikan performa yang sangat baik bahkan untuk panjang sekuens hingga 16.000 token.

NVIDIA mendorong para pengembang untuk merujuk pada dokumentasi NeMo-RL dan memanfaatkan optimasi Megatron-Core untuk kebutuhan pasca-pelatihan model skala besar mereka. Dengan optimasi performa yang berkelanjutan dan penambahan fitur yang akan datang, NeMo-RL v0.3 bertujuan untuk mencapai pembelajaran penguatan yang efisien di berbagai ukuran model.