Microsoft telah memperkenalkan CTI-REALM, sebuah tolok ukur sumber terbuka yang dirancang untuk menilai efektivitas agen AI di bidang keamanan siber. Alat ini melampaui tolok ukur tradisional dengan mengevaluasi alur kerja lengkap rekayasa deteksi, yang meliputi membaca laporan ancaman, menganalisis telemetri, dan menghasilkan aturan deteksi yang tervalidasi. CTI-REALM bertujuan untuk memberikan ukuran yang lebih komprehensif tentang kemampuan agen AI untuk mengoperasionalkan intelijen ancaman siber menjadi pertahanan praktis.

Perusahaan ini memproses volume sinyal keamanan yang sangat besar setiap hari, menekankan pentingnya AI dalam pertahanan siber modern. Komitmen Microsoft terhadap keragaman model AI dan penerapan yang bertanggung jawab terlihat jelas dalam keputusan mereka untuk menyediakan CTI-REALM bagi industri yang lebih luas. Inisiatif ini mendorong kolaborasi dalam meningkatkan sistem keamanan dan menulis kode yang lebih tangguh.

Kemampuan benchmarking CTI-REALM mencakup berbagai platform, termasuk endpoint Linux, Azure Kubernetes Service (AKS), dan infrastruktur cloud Azure . CTI-REALM menggunakan 37 laporan CTI pilihan dari sumber terpercaya untuk mensimulasikan skenario realistis yang harus dinavigasi oleh agen AI. Sistem penilaian benchmark tidak hanya mengevaluasi aturan deteksi akhir tetapi juga langkah-langkah perantara, memberikan wawasan tentang proses pengambilan keputusan AI.

Evaluasi terbaru Microsoft terhadap 16 konfigurasi model AI pada CTI-REALM-50 mengungkapkan bahwa model dengan penalaran moderat berkinerja lebih baik daripada model dengan tingkat penalaran yang lebih tinggi, menunjukkan bahwa pendekatan yang lebih sederhana mungkin lebih efektif dalam konteks keamanan tertentu. Hasil tersebut juga menyoroti pentingnya alat khusus CTI dan panduan terstruktur dalam meningkatkan kinerja model. Detail lengkap evaluasi dapat ditemukan dalam makalah yang telah mereka publikasikan, dan tolok ukur tersebut dapat diakses melalui repositori Inspect AI, yang mengundang pengembang model dan tim keamanan untuk berkontribusi dan berbagi temuan mereka.