Semakin banyak perusahaan yang mengadopsi model dasar untuk mendukung berbagai aplikasi AI generatif, mulai dari pembuatan konten hingga peningkatan layanan pelanggan. Namun, jaringan saraf yang canggih ini harus disesuaikan agar sesuai dengan tujuan dan nilai-nilai organisasi tertentu. Pembelajaran penguatan dari umpan balik manusia (RLHF) adalah metode yang digunakan untuk meningkatkan model seperti model bahasa skala besar (LLM) dengan memasukkan penilaian manusia ke dalam proses pelatihan.

RLHF melibatkan proses dua langkah: pemodelan penghargaan dan pembelajaran penguatan. Pertama, beberapa respons terhadap permintaan yang sama dihasilkan oleh LLM dan diberi peringkat oleh penilai manusia untuk membuat kumpulan data yang mencerminkan preferensi manusia. Model penghargaan kemudian dilatih untuk menilai respons berdasarkan kumpulan data ini, yang bertujuan untuk mencocokkan peringkat yang dihasilkan manusia. Pembelajaran penguatan kemudian menggunakan skor ini untuk memandu LLM menghasilkan respons berkualitas tinggi yang lebih sesuai dengan preferensi manusia.

Penerapan RLHF memerlukan orkestrasi tingkat lanjut pada fase-fasenya menggunakan akselerator perangkat keras yang kuat dan teknik pelatihan terdistribusi. Platform AI tertentu mengintegrasikan RLHF ke dalam layanan mereka dan menyediakan templat saluran yang menyederhanakan penyetelan model seperti PaLM 2, FLAN-T5, dan Llama 2 untuk perusahaan. Integrasi ini dirancang untuk meningkatkan performa model, mempercepat penyetelan perangkat keras tingkat lanjut, dan meningkatkan keselamatan dengan memberikan contoh respons yang tidak diinginkan kepada model.

Sebagai aplikasi praktis, Recruit Group telah bereksperimen dengan RLHF untuk meningkatkan model dasar tugas penulisan resume dalam domain HR. Tujuan eksperimen ini adalah untuk menentukan apakah penyetelan RLHF meningkatkan kemampuan model dalam menghasilkan resume yang memenuhi standar kualitas profesional. Evaluasi kinerja oleh pakar sumber daya manusia menunjukkan bahwa kualitas resume yang dihasilkan oleh model yang disesuaikan dengan RLHF meningkat secara signifikan dibandingkan dengan model yang mendasarinya. Grup tersebut saat ini membandingkan konten yang dihasilkan AI dengan konten yang dibuat oleh pakar manusia untuk menilai potensi manfaat dan biaya otomatisasi. saus: