Dalam perkembangan terbaru, agen AI baru telah dilatih untuk mengoperasikan CLI Platform LangGraph tanpa pengetahuan sebelumnya, yang menunjukkan kemampuan adaptasi model inferensi skala besar. Tidak seperti agen sebelumnya, agen ini dapat meluncurkan server, membangun kontainer, dan menghasilkan Dockerfile melalui antarmuka perintah yang dapat diverifikasi yang memerlukan konfirmasi manusia sebelum dieksekusi. Proses pelatihan menggunakan pembelajaran penguatan dengan pembuatan data sintetis dan imbalan yang dapat diverifikasi, dan dioptimalkan menggunakan optimasi kebijakan relatif kelompok untuk memastikan efisiensi dan keamanan.

Dirancang untuk menjalankan alat CLI baru, agen khusus ini disempurnakan untuk menyarankan perintah CLI LangGraph yang valid dan meminta persetujuan manusia secara eksplisit sebelum mengambil tindakan apa pun. Agen mempelajari subperintah baru dari data awal sintetis dan dilatih pada satu GPU menggunakan pembelajaran penguatan dengan imbalan yang dapat diverifikasi. Interaksi tipikal dengan model yang terlatih melibatkan agen yang menyarankan perintah dan meminta konfirmasi pengguna. Jika pengguna menyetujui, perintah dieksekusi dan hasilnya dilaporkan.

Pendekatan kami dalam melatih agen AI melibatkan mengatasi tantangan kelangkaan data dan pertukaran antara keamanan dan akurasi yang melekat dalam pengoperasian alat CLI khusus. Pembuatan data sintetis memungkinkan kami untuk membuat kumpulan data pelatihan yang komprehensif dari sejumlah perintah awal yang terbatas, sementara pembelajaran penguatan dengan imbalan yang dapat diverifikasi memastikan pembuatan perintah yang benar secara sintaksis. Teknik ini sangat bermanfaat di lingkungan perusahaan di mana adaptasi cepat terhadap alat-alat milik perusahaan diperlukan.

Pengaturan sistem ini memerlukan perangkat keras khusus seperti GPU NVIDIA dan RAM sistem, serta akses ke perangkat lunak seperti Python dan CUDA. Komponen intinya meliputi alat CLI LangGraph, NeMo Gym untuk lingkungan pelatihan RL, Unsloth untuk pembelajaran penguatan (reinforcement learning), dan NeMo Data Designer untuk pembuatan data sintetis. Model dasar yang digunakan adalah Nemotron-Nano-9B-V2, yang tersedia dari Hugging Face. Instruksi instalasi dan penggunaan yang detail dapat ditemukan dalam dokumentasi yang tertaut. Pipeline pelatihan inovatif ini memungkinkan penerapan agen CLI khusus dan aman dengan cepat, memberikan solusi baru untuk otomatisasi alur kerja dan alat peningkatan produktivitas.