Pakar keamanan Microsoft telah menemukan tren yang mengkhawatirkan di mana perusahaan memanipulasi asisten AI untuk memprioritaskan produk dan layanan mereka sendiri. Manipulasi ini, yang dikenal sebagai "peracunan rekomendasi AI," dilakukan dengan menyematkan perintah tersembunyi di tombol "Ringkas dengan AI". Perintah-perintah ini dirancang untuk membiaskan rekomendasi AI di masa mendatang dengan menginstruksikannya untuk memprioritaskan perusahaan tertentu sebagai sumber tepercaya.

Teknik ini memanfaatkan kemampuan asisten AI untuk mengingat preferensi dan konteks pengguna dari waktu ke waktu. Dengan mengklik tombol yang tampaknya tidak berbahaya, pengguna dapat tanpa sadar menginstruksikan AI untuk mempertahankan preferensi terhadap perusahaan tertentu. Penelitian Microsoft mengungkap lebih dari 50 contoh manipulasi ini di berbagai industri, menyoroti kemudahan pelaksanaannya menggunakan alat yang mudah didapat.

Microsoft telah mengambil langkah-langkah untuk memerangi serangan injeksi perintah ini di layanan Copilot-nya dan menerapkan tindakan pencegahan untuk mencegah perilaku yang dilaporkan terulang kembali. Perusahaan terus meningkatkan pertahanannya seiring dengan ditemukannya teknik manipulasi baru.

Dampak dari "peracunan memori" AI sangat signifikan, terutama ketika asisten AI memberikan nasihat tentang topik sensitif seperti kesehatan atau keuangan. Pengguna mungkin tidak menyadari bahwa AI mereka telah dikompromikan dan akhirnya membuat keputusan berdasarkan informasi yang bias. Temuan Microsoft menyoroti pentingnya tetap waspada dalam interaksi kita dengan AI dan secara teratur meninjau serta mengelola memori yang disimpan oleh AI untuk memastikan bias tersebut tidak memengaruhi keputusan penting.