Alur kerja agen telah muncul sebagai pendekatan transformatif dalam AI, yang memungkinkan pengembang untuk membuat rangkaian interaksi yang kompleks untuk model AI. Alur kerja ini memungkinkan model AI untuk secara mandiri melakukan tugas-tugas kompleks dengan input manusia yang minimal, meningkatkan kemampuan mereka untuk mengakses data dan mengotomatiskan tindakan. Namun, model inti, yang sering kali merupakan model bahasa besar (LLM), rentan terhadap serangan injeksi cepat, di mana data yang tidak tepercaya dapat memanipulasi output sistem.

NVIDIA telah memperkenalkan Agent Autonomy Framework untuk mengatasi masalah keamanan yang melekat pada sistem AI tingkat lanjut ini. Kerangka kerja ini bertujuan untuk memahami dan mengurangi risiko yang terkait dengan meningkatnya kompleksitas alur kerja AI. Kerangka kerja ini juga berfungsi sebagai alat untuk memodelkan ancaman terhadap sistem agen, sehingga sangat relevan untuk aplikasi keamanan siber. Kerangka kerja ini merupakan bagian dari strategi keamanan NVIDIA yang lebih luas dan dijelaskan secara rinci di acara GTC.

Eksploitasi aplikasi bertenaga AI bergantung pada dua faktor: kemampuan musuh untuk memasukkan data berbahaya ke dalam sistem, dan efek hilir berikutnya yang dapat ditimbulkan oleh data ini. Injeksi cepat langsung dan injeksi cepat tidak langsung adalah dua metode yang digunakan penyerang untuk memanipulasi LLM. Injeksi perintah langsung, seperti perintah "apa pun sekarang", biasanya memiliki dampak terbatas dan hanya memengaruhi sesi pengguna aktif. Sebaliknya, injeksi perintah tidak langsung dapat memiliki konsekuensi yang lebih parah karena memengaruhi sesi pengguna lain melalui sumber data yang dimanipulasi.

Keamanan sistem agen sangat erat kaitannya dengan alat dan plugin yang dapat diaksesnya. Seiring meningkatnya tingkat otonomi, semakin sulit untuk memprediksi perilaku sistem dan mengevaluasi dampak data yang tidak tepercaya. Kerangka kerja NVIDIA mengkategorikan sistem berdasarkan tingkat otonominya dan menyediakan struktur yang jelas untuk memahami risiko dan kontrol keamanan yang diperlukan. Misalnya, sistem level 0 sederhana, sementara sistem level 3 dengan jalur eksekusi yang kompleks memerlukan langkah-langkah keamanan yang lebih canggih, seperti pelacakan noda dan persetujuan manual atas tindakan sensitif.

Kesimpulannya, peningkatan alur kerja agen memerlukan pendekatan yang bernuansa terhadap keamanan. Kerangka kerja NVIDIA menyediakan cara untuk mengevaluasi risiko yang terkait dengan berbagai tingkat otonomi sistem secara sistematis dan menerapkan kontrol keamanan yang sesuai. Ketika sistem AI menjadi semakin otonom, pemahaman dan pengelolaan aliran data yang tidak tepercaya akan sangat penting untuk menjaga integritas dan keamanan solusi teknologi canggih ini.