Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

マイクロソフトは、サイバーセキュリティ分野におけるAIエージェントの有効性を評価するために設計されたオープンソースのベンチマークツール「CTI-REALM」を発表しました。このツールは、脅威レポートの読み取り、テレメトリの分析、検証済みの検出ルールの生成など、検出エンジニアリングのワークフロー全体を評価することで、従来のベンチマークの枠を超えています。CTI-REALMは、サイバー脅威インテリジェンスを実用的な防御策に落とし込むAIエージェントの能力を、より包括的に測定することを目的としています。

同社は日々膨大な量のセキュリティシグナルを処理しており、現代のサイバー防御におけるAIの必要性を強調している。マイクロソフトがCTI-REALMをより幅広い業界に提供するという決定は、AIモデルの多様性と責任ある活用に対する同社の取り組みを明確に示している。この取り組みは、セキュリティシステムの強化とより堅牢なコードの作成における協業を促進する。

CTI-REALMのベンチマーク機能は、Linuxエンドポイント、 Azure Kubernetes Service（AKS）、 Azureクラウドインフラストラクチャなど、さまざまなプラットフォームに対応しています。信頼できる情報源から厳選された37のCTIレポートを活用し、AIエージェントがナビゲートする現実的なシナリオをシミュレートします。ベンチマークのスコアリングシステムは、最終的な検出ルールだけでなく、中間ステップも評価するため、AIの意思決定プロセスに関する洞察が得られます。

マイクロソフトがCTI-REALM-50上で16種類のAIモデル構成を評価した結果、推論レベルが中程度のモデルが、推論レベルの高いモデルよりも優れた性能を発揮することが明らかになりました。これは、特定のセキュリティ環境においては、よりシンプルなアプローチの方が効果的である可能性を示唆しています。また、この結果は、モデル性能の向上において、CTI固有のツールと体系的なガイダンスが重要であることを示しています。評価の詳細は、マイクロソフトが公開した論文に記載されており、ベンチマークはInspect AIリポジトリからアクセス可能です。モデル開発者やセキュリティチームは、このリポジトリを通じて、評価結果を共有し、貢献することができます。