Agen pengkodean AI mengubah cara kerja pengembang dengan mengotomatiskan dan mempercepat berbagai tugas. Namun, karena alat-alat ini beroperasi dengan hak akses yang sama seperti pengguna, mereka menimbulkan risiko keamanan yang signifikan dan dapat menjadi sasaran serangan siber. Tim Merah AI NVIDIA mengidentifikasi injeksi prompt tidak langsung sebagai ancaman utama. Hal ini memungkinkan penyerang untuk memanipulasi model bahasa yang menggerakkan agen melalui konten berbahaya di repositori, permintaan tarik, atau file konfigurasi. Ini dapat menyebabkan agen melakukan tindakan berbahaya tanpa sepengetahuan pengguna.

Untuk mengatasi risiko ini, Tim Merah AI NVIDIA merekomendasikan serangkaian kontrol. Kontrol keluar jaringan sangat penting untuk mencegah eksfiltrasi data dan akses jarak jauh yang tidak sah. Membatasi operasi penulisan file di luar ruang kerja pengembang sangat penting untuk memblokir mekanisme persistensi dan eksekusi kode jarak jauh. Selain itu, file konfigurasi harus dilindungi dari modifikasi yang tidak sah untuk mencegah eksploitasi sistem.

Tim juga menekankan pentingnya melakukan sandboxing seluruh lingkungan pengembangan dan proses terkait. Teknologi virtualisasi dapat mengisolasi kernel sandbox dari kernel host, sehingga semakin memperkuat keamanan. Persetujuan pengguna direkomendasikan untuk tindakan yang dapat melanggar kontrol isolasi. Sangat penting untuk mencegah caching otorisasi dan penyalahgunaan di masa mendatang. Manajemen rahasia harus dilakukan dengan hati-hati untuk memastikan bahwa hanya kredensial yang diperlukan untuk tugas tertentu yang diekspos ke agen.

Manajemen siklus hidup sandbox juga merupakan aspek kunci, dengan penggunaan sandbox sementara dan pengaturan ulang berkala yang direkomendasikan untuk mencegah akumulasi data sensitif. Langkah-langkah ini bertujuan untuk menyeimbangkan kemudahan otomatisasi dengan kebutuhan akan keamanan yang kuat. Temuan NVIDIA AI Red Team menyoroti sifat alat agen yang terus berkembang dan pentingnya penilaian keamanan berkelanjutan untuk melindungi dari ancaman yang muncul.