NVIDIA baru-baru ini menerbitkan artikel tentang peningkatan LLM termasuk penyempurnaan yang diawasi (SFT) dalam demonstrasi manusia. Tim peneliti NVIDIA telah mencapai kemajuan signifikan di bidang model bahasa skala besar (LLM) dengan pengembangan SteerLM, sebuah teknologi baru yang menyederhanakan penyesuaian LLM. Meskipun ada kemajuan yang mengesankan dalam pembuatan bahasa alami dengan LLM seperti GPT-3 dan Megatron-Turing, model ini sering kali kesulitan memberikan respons berbeda yang disesuaikan dengan preferensi pengguna.

Metode saat ini untuk meningkatkan LLM mencakup penyempurnaan yang diawasi (SFT) pada demonstrasi manusia diikuti dengan pembelajaran penguatan dari umpan balik manusia (RLHF). Meskipun RLHF dapat meningkatkan kinerja, RLHF menghadapi tantangan seperti kompleksitas pelatihan dan kontrol pengguna yang terbatas.

SteerLM, bagian dari NVIDIA NeMo, mengatasi masalah ini dengan mengaktifkan kemudi dinamis keluaran model berdasarkan atribut tertentu. Teknologi inovatif ini menyederhanakan proses penyesuaian dan membuatnya lebih mudah diakses oleh pengguna.

LLM telah dilatih sebelumnya tentang korpus teks yang luas dan memiliki kemahiran bahasa dan pengetahuan dunia yang luas. Mereka telah berhasil diterapkan pada berbagai tugas pemrosesan bahasa alami, termasuk penerjemahan, menjawab pertanyaan, dan pembuatan teks. Namun, sering kali ia tidak mengikuti instruksi yang diberikan pengguna dan malah menghasilkan teks yang umum atau tidak masuk akal. Pengembangan SteerLM mewakili kemajuan besar dalam mengatasi masalah ini. saus: