Penelitian baru menghadirkan metode inovatif untuk mengidentifikasi kerentanan dalam model bahasa terbuka, yang sangat penting untuk menjaga integritas sistem AI. Para peneliti menemukan bahwa perilaku "pintu belakang" dalam model AI ini dapat diaktifkan dalam kondisi tertentu, sehingga menimbulkan risiko terhadap keamanan sistem. Penelitian ini menyoroti pentingnya strategi pertahanan yang kuat, termasuk proses pembangunan yang aman, evaluasi menyeluruh, dan pemantauan ketat, untuk memastikan penerapan AI yang andal dan aman.

Studi ini mengeksplorasi kompleksitas perusakan model bahasa secara detail, membedakan antara manipulasi kode dan peracunan model. Meskipun perusakan kode merupakan ancaman keamanan yang diakui, peracunan model lebih halus, melibatkan penyisipan perilaku berbahaya ke dalam bobot model selama pelatihan. Hal ini dapat menyebabkan model yang beroperasi normal hingga dipicu oleh frasa tertentu untuk menjalankan perilaku jahat. Temuan studi ini sangat penting untuk mengembangkan alat untuk mendeteksi dan mengurangi risiko ini serta meningkatkan keandalan teknologi AI.

Tim peneliti mengidentifikasi indikator-indikator kunci yang menunjukkan adanya celah keamanan (backdoor) dalam model bahasa, termasuk pola perhatian yang khas dan perubahan entropi keluaran ketika dipicu, serta kecenderungan model yang terkontaminasi untuk secara tidak sengaja membocorkan data latihannya sendiri. Lebih lanjut, penelitian menemukan bahwa celah keamanan sering diaktifkan oleh variasi pemicu yang dimaksudkan, memperluas jangkauan deteksi. Berdasarkan temuan ini, dikembangkan pemindai praktis yang dapat mengidentifikasi potensi celah keamanan tanpa memerlukan pelatihan model tambahan atau pengetahuan sebelumnya tentang perilaku celah keamanan tersebut.

"Penelitian ini mengakui beberapa keterbatasan, seperti ketidakmampuan pemindai untuk diterapkan pada model-model eksklusif yang hanya dapat diakses melalui API dan fokus saat ini pada pintu belakang keluaran deterministik. Terlepas dari tantangan-tantangan ini, penelitian ini mewakili kemajuan signifikan dalam keamanan AI dan menyediakan alat yang dapat diintegrasikan ke dalam strategi pertahanan yang lebih luas. Para peneliti berharap dapat mendorong kolaborasi dalam komunitas AI untuk lebih menyempurnakan dan menerapkan teknik deteksi ini, memastikan pengembangan sistem AI yang aman dan andal secara berkelanjutan."