Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

マイクロソフトは、サイバーセキュリティにおけるAIシステムの評価を強化することを目的としたオープンソースツール「ExCyTIn-Bench」を発表しました。このツールは、Microsoft Azure上の模擬SOC環境において、複雑なサイバー脅威シナリオをAIがナビゲートし解決する能力に焦点を当てており、従来のベンチマークとは異なります。57個のログテーブルから得られる膨大なデータを活用し、実際のセキュリティインシデントやオペレーションの複雑さと予測不可能性を反映しています。

ExCyTIn-Benchは、CISO、ITリーダー、そしてテクノロジー購入者にとって不可欠な資産となることが期待されており、高度なサイバー攻撃に対するAIの調査能力を客観的に測定します。マイクロソフトは、このベンチマークフレームワークを統合することで、AIセキュリティ機能を強化し、真のサイバー脅威への耐性を確保しています。また、様々なセキュリティ製品と連携することでAI機能を改良し、製品オーナーがモデルのパフォーマンスとコストに基づいて情報に基づいた意思決定を行えるようにしています。

このベンチマークツールは、推測に頼りがちな多肢選択式の質問ではなく、脅威調査グラフから質問と回答を生成する独自の手法を採用している点で、他とは一線を画しています。このアプローチにより、AIエージェントの推論戦略をより徹底的に分析できます。ExCyTIn-Benchは、AIエージェントを動的なAzure SOC環境に配置します。エージェントはそこでライブデータと対話し、複数段階の調査を計画することで、エージェントの包括的な推論プロセスを評価します。

ExCyTIn-Benchは、AIエージェントの複雑なセキュリティタスク処理能力を評価するだけでなく、各調査アクションについて透明性の高い段階的な指標を提供します。この詳細なレベルは、組織がAIモデルの意思決定プロセスを理解する上で役立ち、これは信頼とコンプライアンスにとって非常に重要です。このベンチマークは協働的なイノベーションを目的として設計されており、研究者とベンダーがAIモデルをテスト・強化することで、自動化されたサイバー防御の進歩を加速させます。今後提供される機能には、特定の顧客の脅威に対するパーソナライズされたベンチマークが含まれます。最近の評価では、最新のAIモデル、特に高度な推論機能を備えたモデルは、パフォーマンスが大幅に向上していることが示されており、複雑なセキュリティ調査における高度な推論の重要性が強調されています。