Microsoft telah mengumumkan peluncuran ExCyTIn-Bench, sebuah alat sumber terbuka yang bertujuan untuk meningkatkan evaluasi sistem AI dalam keamanan siber. Berbeda dengan tolok ukur tradisional, alat ini berfokus pada kemampuan AI untuk menavigasi dan menyelesaikan skenario ancaman siber yang kompleks dalam lingkungan SOC simulasi di Microsoft Azure . Alat ini memanfaatkan data dalam jumlah besar dari 57 tabel log untuk mencerminkan kompleksitas dan ketidakpastian insiden dan operasi keamanan di dunia nyata.

Diharapkan menjadi aset penting bagi CISO, pemimpin TI, dan pembeli teknologi, ExCyTIn-Bench secara objektif mengukur kemampuan AI dalam menyelidiki serangan siber tingkat lanjut. Dengan mengintegrasikan kerangka kerja benchmark ini, Microsoft memperkuat kapabilitas keamanan AI-nya untuk memastikan ketahanan terhadap ancaman siber yang nyata. ExCyTIn-Bench juga bekerja sama dengan berbagai produk keamanan untuk menyempurnakan kapabilitas AI dan memungkinkan pemilik produk membuat keputusan yang tepat berdasarkan kinerja dan biaya model.

Alat tolok ukur ini unik karena menggunakan metodologi unik untuk menghasilkan pertanyaan dan jawaban dari grafik investigasi ancaman, alih-alih pertanyaan pilihan ganda yang cenderung mengandalkan tebakan. Pendekatan ini memungkinkan analisis yang lebih menyeluruh terhadap strategi penalaran agen AI. ExCyTIn-Bench menerapkan agen AI dalam lingkungan Azure SOC yang dinamis, tempat agen berinteraksi dengan data langsung dan merencanakan investigasi multi-tahap untuk mengevaluasi proses penalaran agen yang komprehensif.

ExCyTIn-Bench tidak hanya mengevaluasi kemampuan agen AI dalam menangani tugas keamanan yang kompleks, tetapi juga menyediakan metrik langkah demi langkah yang transparan untuk setiap tindakan investigasi. Tingkat detail ini membantu organisasi memahami proses pengambilan keputusan model AI, yang sangat penting untuk kepercayaan dan compliance. Benchmark ini dirancang untuk inovasi kolaboratif, memungkinkan peneliti dan vendor untuk menguji dan meningkatkan model AI, mempercepat kemajuan dalam pertahanan siber otomatis. Fitur-fitur mendatang akan mencakup benchmark yang dipersonalisasi untuk ancaman pelanggan tertentu. Evaluasi terbaru menunjukkan bahwa model AI modern, terutama yang memiliki kemampuan penalaran tingkat lanjut, menunjukkan peningkatan kinerja yang signifikan, yang menyoroti pentingnya penalaran tingkat lanjut dalam investigasi keamanan yang kompleks.