Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

大手テクノロジー企業によるAIアプリケーションセキュリティシリーズの最新記事では、プロンプトの悪用からAIシステムを保護することの重要性がますます高まっていることが強調されています。AIツールがビジネスプロセスに深く統合されるにつれ、攻撃者がAIの動作を操作するために入力を偽造する手法であるプロンプトインジェクションのリスクが重大な脅威となっています。大規模言語モデルアプリケーション（LLMA）に関するOWASPの2025年版ガイダンスでは、プロンプトインジェクションが主要な脆弱性として挙げられています。

プロンプトの悪用は、セキュリティポリシーを強制的に無効化するプロンプトの悪用や、機密情報を漏洩させる抽出型の悪用など、さまざまな形態をとります。このブログ記事では、このようなインシデントを検出し、対応するための包括的なセキュリティプレイブックを提供しており、URLフラグメントを介した間接的なプロンプトインジェクション攻撃の詳細な例も掲載しています。

同社のAIアシスタントツール向けインシデント対応プレイブックでは、セキュリティチームがプロンプトの悪用を検出、調査、対応するための手順が概説されています。このプレイブックでは、ログに記録されたインタラクションを実用的なインサイトに変換するために、同社のセキュリティツールを活用することの重要性を強調しています。これらのツールは、不審なアクティビティを特定し、そのコンテキストを理解し、機密データを保護するための対策を講じるのに役立ちます。


このブログでは、アナリストが知らず知らずのうちに悪意のあるURLにアクセスし、AIサマリーツールが偏った出力を生成するように影響を受けるシナリオについても取り上げています。この例は、AIの出力が信頼性と妥当性を維持できるよう、監視とガバナンスの必要性を強調しています。同社のエコシステムは、Defender for Cloud AppsやPurview Data Loss Preventionといったツールを提供し、AIの使用状況や相互作用を可視化・制御することで、組織が不正操作の手口に先手を打てるよう支援します。