Microsoft mengumumkan perilisan sumber terbuka dari dua alat keamanan AI baru, "RAMPART" dan "Clarity," yang bertujuan untuk meningkatkan keamanan dan keandalan agen AI perusahaan.

Menurut perusahaan tersebut, sistem AI modern telah berevolusi melampaui pembuatan teks menjadi agen yang mampu mengakses email, mengambil catatan CRM , mengeksekusi kode, dan mengambil tindakan di seluruh sistem yang terhubung. Microsoft mengatakan pergeseran ini mengharuskan keamanan AI menjadi disiplin rekayasa berkelanjutan, bukan proses peninjauan satu kali.

RAMPART adalah kerangka kerja pengujian keamanan agen yang dibangun untuk mengintegrasikan pengujian adversarial langsung ke dalam alur kerja pengembangan. Kerangka kerja ini memungkinkan para insinyur untuk mengkodekan serangan injeksi cepat dan skenario ancaman lainnya sebagai pengujian berulang yang berjalan dalam pipeline CI. Microsoft menambahkan bahwa RAMPART mendukung pengujian statistik untuk perilaku LLM probabilistik dan dapat secara permanen mengubah temuan tim merah atau insiden AI menjadi pengujian regresi.

Sementara itu, Clarity dirancang untuk membantu tim memvalidasi asumsi selama fase perencanaan proyek perangkat lunak. Alat ini memandu pengembang dan tim produk melalui diskusi terstruktur seputar definisi masalah, desain solusi, analisis kegagalan, dan pelacakan keputusan. Hasilnya disimpan sebagai file markdown yang mudah dibaca manusia di dalam repositori untuk mendukung kolaborasi dan kemampuan peninjauan jangka panjang.

Microsoft menyatakan bahwa kedua proyek tersebut merupakan bagian dari upaya yang lebih luas untuk membangun praktik keamanan AI yang berbasis rekayasa. Perusahaan tersebut mengatakan bahwa alat-alat tersebut tersedia segera sebagai proyek sumber terbuka dan mengundang kontribusi komunitas serta kemitraan perusahaan.