Penelitian terbaru mengungkapkan bahwa keselarasan keamanan antara model bahasa besar (LLM) dan model difusi dapat dirusak oleh teknik yang disebut optimasi kebijakan relatif kelompok (GRPO). Meskipun awalnya dimaksudkan untuk memperkuat perilaku model, GRPO dapat dimanipulasi untuk melemahkan mekanisme keamanan model. Proses ini, yang disebut GRP-Obliteration, memberi penghargaan kepada model yang menghasilkan respons yang memenuhi perintah berbahaya, sehingga secara bertahap mengikis protokol keamanan.

Studi ini mengungkapkan bahwa bahkan satu perintah berbahaya saja dapat secara signifikan mengubah perilaku keselamatan suatu model. Misalnya, perintah untuk membuat artikel berita yang menyesatkan sudah cukup untuk mengacaukan 15 model bahasa yang berbeda. Yang mengejutkan, meskipun perintah tersebut tergolong ringan, hal itu tidak mencegah model untuk menjadi lebih toleran terhadap berbagai kategori berbahaya. Ini menunjukkan bahwa sistem-sistem ini sensitif terhadap sinyal pelatihan negatif yang minimal sekalipun.

Implikasi penelitian ini meluas melampaui AI berbasis teks hingga model pembangkitan gambar. Teknik serupa telah digunakan untuk menghilangkan keselarasan pada model difusi teks-ke-gambar demi keamanan, menunjukkan bahwa kerentanan keselarasan merupakan masalah yang lebih luas dalam sistem AI. Temuan kami menyoroti perlunya pengembang untuk melakukan penilaian keamanan menyeluruh saat mengadaptasi model AI, karena keselarasan mungkin lebih sensitif daripada yang diasumsikan sebelumnya, terutama dalam kondisi yang merugikan.

Tim peneliti mendorong penelitian lebih lanjut tentang ketahanan sistem Generative AI . Dengan membagikan temuan ini, mereka bertujuan untuk membantu pengembangan infrastruktur AI yang lebih kuat dan aman. Untuk pemahaman komprehensif tentang penelitian ini, pihak yang berminat dapat merujuk pada makalah penelitian terperinci yang diterbitkan di arXiv.