Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

Microsoft の“データ カウボーイ”Ram Shankar Siva Kumar氏は、AI レッド チームと、より安全な AI の未来を構築する取り組みに関するブログを投稿しました。そのポイントを紹介しましょう。レッド チーム化は、ソフトウェアを安全に出荷するための重要な実践です。これには、現実世界の敵をエミュレートしてリスクを特定し、システムのセキュリティを向上させることが含まれます。 Microsoft には、AI システムの障害の調査に重点を置いた専任の AI レッド チームがいます。目標は、問題を積極的に特定し、設計上責任ある AI を保証することです。 Microsoft はベスト プラクティスを共有し、セキュリティ チームが AI システムの障害を探し出し、多層防御のアプローチを構築できるように支援するツールを開発しました。AI レッド チームは、セキュリティの脆弱性だけでなく、有害なコンテンツの生成など、他のシステム障害もカバーするように拡張されました。 Microsoft は、展開前にすべての高リスク AI システムに対して独立したレッド チームを作成することに取り組んでいます。このブログの目的は、AI レッド チーム化が従来のレッド チーム化とどのように交差するかを説明し、組織が独自の AI システムをレッド チーム化するためのガイダンスを提供することです。Microsoft の AI レッド チームは、セキュリティ専門家が AI を安全に実装できるようにするコンテンツを作成して共有しました。彼らは MITRE や他のパートナーと協力して、AI システムの脅威を検出して軽減するためのフレームワークとツールを開発しました。チームの取り組みは、徹底したセキュリティと責任ある AI テストを保証する AI 製品の顧客への出荷方法に直接影響を与えてきました。AI レッド チーム化は、ベース モデル レベルまたはアプリケーション レベルで実行できます。モデルをレッドチーム化すると、誤用を特定し、機能の範囲を特定し、制限を理解するのに役立ちます。アプリケーション レベルのレッド チーム化では、システム ビューを取得し、モデル レベルの安全メカニズムを超えて障害を調査します。セキュリティと責任ある AI リスクの両方を調査することで、AI システムに対する脅威と侵害に関する貴重な洞察が得られます。AI レッド チームは、悪意のあるペルソナと良性のペルソナの両方による失敗に焦点を当てます。通常のユーザーがどのようにシステムと対話し、問題のあるコンテンツを生成する可能性があるかを考慮します。 AI システムは常に進化しているため、複数回のレッドチーム化と体系的な測定が必要です。生成AIシステムは確率論的であるため、レッド チーム化がより困難になります。 AI の障害を軽減するには、従来のセキュリティ慣行と同様の多層防御アプローチが必要です。責任を持って安全にテクノロジを構築することは、Microsoft の中核原則です。 AI レッド チームは、AI 製品の信頼性を確保する上で重要な役割を果たします。