Agen AI semakin mahir dalam penjelajahan web, pengambilan informasi, dan tindakan otonom, yang, meskipun bermanfaat, membuka jalan baru bagi serangan siber. Serangan ini, yang dikenal sebagai injeksi perintah, melibatkan penyisipan perintah dalam konten eksternal untuk memanipulasi perilaku AI. Seiring dengan pergeseran penyerang ke taktik rekayasa sosial yang lebih canggih, tantangannya meluas melampaui penyaringan input sederhana. Sekarang dibutuhkan sistem yang dirancang untuk membatasi kerusakan akibat manipulasi yang berhasil.

Evolusi serangan injeksi perintah telah bergeser dari penyisipan perintah yang sederhana, seperti mengubah halaman Wikipedia, ke strategi rekayasa sosial yang lebih kompleks. Misalnya, email yang dirancang untuk memanipulasi asisten AI agar mengambil data tanpa izin menunjukkan kehalusan serangan modern. Serangan canggih ini sering kali melewati firewall AI tradisional, yang kesulitan membedakan antara input berbahaya dan input biasa tanpa konteks.

Untuk mengatasi ancaman ini, pendekatan terhadap keamanan AI sedang beradaptasi. Alih-alih hanya mencoba mengidentifikasi input berbahaya, fokusnya adalah pada perancangan agen dan sistem AI yang meminimalkan dampak manipulasi. Ini melibatkan penetapan batasan pada kemampuan AI, serupa dengan cara agen layanan pelanggan manusia beroperasi dalam parameter terkontrol untuk mengurangi risiko di lingkungan yang berpotensi berbahaya.

Dalam kasus ChatGPT, kombinasi kesadaran rekayasa sosial dan rekayasa keamanan tradisional, seperti analisis sumber-tujuan, digunakan. Tujuannya adalah untuk memastikan bahwa tindakan yang berpotensi berbahaya atau transmisi informasi sensitif tidak dieksekusi tanpa pengamanan yang memadai. Meskipun sebagian besar serangan digagalkan oleh pelatihan keamanan AI, langkah-langkah tambahan seperti strategi mitigasi URL Aman diterapkan untuk mencegah atau memperingatkan pengguna tentang transmisi data yang tidak sah. Mekanisme pertahanan komprehensif ini meluas ke berbagai aplikasi, memastikan keamanan pengguna tetap menjadi prioritas utama.