Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

Microsoft（米ワシントン州）は、エンタープライズ向けAIエージェントの安全性向上を目的としたオープンソースツール「RAMPART」と「Clarity」を公開したと発表した。

同社によると、AIシステムは単なる文章生成から、メール操作やCRMアクセス、コード実行など実際の行動を伴うエージェント型へ進化しており、安全性検証の在り方も変化しているという。そのため、継続的な安全テストを開発工程に組み込む必要があると説明した。

RAMPARTは、AIエージェント向けの継続的安全テストフレームワークで、プロンプトインジェクション攻撃などを再現可能なテストとしてCI環境で実行できる。LLM特有の確率的挙動にも対応し、複数回試行による統計的評価を行える点が特徴とされる。また、レッドチーム演習や実際のAIインシデントから得られた知見を回帰テストとして継続利用できる仕組みも備える。

一方、Clarityは、AIシステム設計段階で前提条件や意思決定を整理する支援ツールとして開発された。問題定義や失敗分析、代替案検討などを対話形式で進め、結果をMarkdown形式で保存・共有できる。設計変更時には関連ドキュメントの更新必要性も追跡するという。

Microsoftは、両ツールを「仕様駆動型かつエンジニアリング主導のAI安全性」推進の一環と位置付けており、AI安全性を単発レビューではなく継続的プロセスへ移行させる狙いがあるとしている。