Penerapan Generative AI dan AI Agentik telah mengalami pergeseran signifikan dari uji coba awal menuju integrasi perusahaan yang substansial. Sistem AI canggih ini sekarang menjadi komponen penting dari infrastruktur bisnis, secara otonom menangani data sensitif dan terlibat dalam interaksi kompleks di lingkungan perusahaan. Untuk memastikan sistem ini beroperasi dengan aman dan compliance dengan kebijakan, sangat penting bagi tim untuk memiliki pemahaman komprehensif tentang perilaku AI di lingkungan produksi. Pemahaman ini membantu dalam mengidentifikasi risiko, mengkonfirmasi compliance kebijakan, dan mempertahankan kendali atas operasi.

Observabilitas telah muncul sebagai aspek penting dari keamanan dan tata kelola untuk sistem AI dalam produksi, namun banyak organisasi masih bergumul dengan pentingnya dan implementasinya. Kesenjangan pemahaman ini dapat menyebabkan kerentanan pada saat pemantauan perilaku AI sangat penting. Yonatan Zunger dari Microsoft baru-baru ini menekankan perluasan Siklus Pengembangan Aman perusahaan untuk memasukkan langkah-langkah keamanan khusus AI, menyoroti pentingnya observabilitas dalam pengembangan sistem AI yang aman.

Sistem AI berbeda dari perangkat lunak tradisional karena sifat probabilistik dan proses pengambilan keputusan yang kompleks, yang mempersulit penggunaan alat pengamatan standar. Alat-alat ini, yang dirancang untuk sistem deterministik, mungkin tidak secara efektif menangkap perilaku sistem AI yang bernuansa. Microsoft telah menyadari tantangan ini dan sedang menggabungkan praktik pengamatan AI tingkat lanjut ke dalam proses pengembangan yang aman untuk lebih memahami dan mengatur perilaku AI.

Observabilitas untuk sistem AI meluas melampaui log, metrik, dan jejak tradisional untuk mencakup sinyal khusus AI. Ini melibatkan pemantauan seluruh siklus hidup sistem AI, dari pengembangan hingga pengoperasian, dan membutuhkan pendekatan baru untuk menangkap konteks input dan output. Microsoft telah menguraikan langkah-langkah untuk mengintegrasikan observabilitas AI ke dalam standar pengembangan yang aman, menekankan perlunya menangkap konteks lengkap, menetapkan dasar perilaku, dan mengelola agen AI perusahaan. Praktik-praktik ini bertujuan untuk menyediakan tim keamanan dengan alat yang diperlukan untuk membuat sistem AI transparan dan aman, memastikan bahwa mereka dapat merespons insiden secara efektif dan mempertahankan kendali operasional.