Tim NVIDIA AI Red telah aktif menyelidiki kerentanan dalam model AI multimodal, yang semakin mampu melakukan penalaran dan tindakan otonom. Penelitian mereka mengungkapkan bahwa metode serangan terus berkembang seiring kemajuan AI. Meskipun injeksi perintah berbasis teks awalnya digunakan untuk memanipulasi keluaran AI, seiring dengan semakin canggihnya sistem AI, para penyerang mulai menyematkan instruksi berbahaya dalam gambar dan audio. Ancaman terbaru adalah serangan inferensi multimodal. Penyerang menciptakan tugas kognitif yang mengeksploitasi kemampuan pemecahan masalah AI, yang berpotensi menyebabkan eksekusi perintah berbahaya.

Temuan tim menunjukkan bahwa serangan kognitif multimodal ini menargetkan proses fusi awal model AI, yang menggabungkan berbagai masukan seperti teks, gambar, dan audio. Dengan menyematkan muatan dalam tugas kognitif, penyerang dapat memanipulasi mekanisme inferensi model dan mengubah proses komputasinya menjadi jalur yang rentan. Pendekatan ini menghindari filter masukan tradisional dan memerlukan evaluasi ulang keamanan AI di tingkat arsitektur, dengan berfokus pada proses inferensi itu sendiri.

Para peneliti memberikan contoh serangan teka-teki geser terhadap model Gemini 2.5 Pro. Penyerang dapat menyebarkan perintah di seluruh teka-teki yang harus dipecahkan oleh AI untuk merekonstruksi instruksi berbahaya. Teknik ini tidak hanya menghindari alat analisis statis, tetapi juga menafsirkan perintah sebagai hasil logis dari tugas pemecahan masalah AI. Penelitian ini menyoroti perlunya strategi pertahanan baru yang melampaui validasi input dan menangani proses inferensi sistem AI.

Temuan ini menunjukkan bahwa sistem AI saat ini rentan terhadap serangan yang mengeksploitasi kemampuan inferensinya, dan memiliki implikasi penting. Penelitian ini menekankan pentingnya mengembangkan langkah-langkah keamanan baru yang dapat memverifikasi proses inferensi, menerapkan kotak pasir komputasi, dan membangun arsitektur keamanan yang berpusat pada output. Seiring AI semakin terintegrasi ke dalam berbagai bidang, kebutuhan untuk melindungi dari serangan canggih ini meningkat, yang mengharuskan pergeseran pendekatan terhadap keamanan AI.