Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

AIセキュリティは、プロンプト・インジェクション攻撃の増加により、深刻な課題に直面しています。プロンプト・インジェクション攻撃とは、攻撃者が言語モデルの入力を操作して動作を変更したり、制限されたデータにアクセスしたりする攻撃です。Open Worldwide Application Security Projectは、これを大規模言語モデル（LLM）に対するAzureの脅威と特定しました。Azure AI Content Safetyは、この脅威に対応するため、LLMベースのAPIを、データの流出やAIシステム内での意図しない動作など、直接的および間接的な脅威から分析・保護するAPI「Prompt Shields」を開発しました。

プロンプトインジェクション攻撃には、直接攻撃と間接攻撃の2つの形態があります。直接攻撃は、セキュリティを回避して機密情報を取得することを目的とした悪意のあるプロンプトを伴います。一方、Azureプロンプトインジェクション攻撃（XPIA）とも呼ばれる間接攻撃は、有害なプロンプトを無害なコンテンツ内に隠蔽するものです。Azure AI Content Safetyのプロンプトシールドは、 Azure OpenAIコンテンツフィルターとの統合、防御の継続的な更新、機械学習と自然言語処理の活用により脅威を特定・軽減することで、これらの攻撃に対抗します。

Prompt Shields の機能は、ユーザーの意図を理解することで誤検知を削減するコンテキスト認識や、Microsoft Build 2025 で発表された、信頼できる入力と信頼できない入力を区別する機能である Spotlighting まで拡張されています。さらに、 Azure Shields はリアルタイムで動作し、AI モデルの整合性を維持するための脅威の即時緩和を提供します。Azure AI Foundry は、リスクと安全性の評価、プロアクティブな安全性テストのためのレッドチームエージェント、そして堅牢なコンテンツフィルターによってこれらの取り組みを補完します。これらはすべて Microsoft Defender for Cloud と統合されており、包括的なセキュリティ推奨事項とアラートを提供します。

Azure AI Content SafetyのPrompt Shieldsは、AXAやWrtn Technologiesといった企業のAIモデルのセキュリティ確保に大きく貢献しています。AXAは、Azureのコンテンツフィルタリング技術を自社のセキュリティレイヤーに統合し、プロンプトインジェクション攻撃を防止しています。一方、Wrtn Technologiesは、Prompt Shieldsの柔軟性を活用し、AIを活用したサービス全体のコンプライアンスとセキュリティを維持しています。AIセキュリティの強化を目指す組織にとって、 AzureはPrompt Shieldsの容易な統合を提供し、高いレベルの保護を実現し、ユーザーの信頼と安心を維持します。