生成AIシステムに対するプロンプトインジェクション攻撃の脅威の増大に対応して、AIアプリ開発者のセキュリティーと信頼性を強化するための新しいツールスイートが導入された。これらのツールには、直接的および間接的なプロンプト インジェクション攻撃を検出して阻止するように設計されたプロンプトシールドが含まれている。プロンプト シールドは現在プレビュー版で利用可能で、有害なコンテンツの生成や機密データの漏洩を目的とした操作からAIモデルを保護することを目的としている。
モデルが現実に根拠のない情報を出力する、AIが生成する「幻覚」の問題に対処するために、グラウンディング検出と呼ばれる新機能が導入されている。この機能は、テキスト出力内の根拠のない内容を識別してフラグを立てることにより、AIシステムの品質と信頼性を向上させることを目的としている。さらに、モデルをより安全な出力に導き、さまざまなコンテンツリスクに対するアプリケーションの脆弱性を評価するために、安全システム メッセージと安全性評価が展開されている。
さらに、コンテンツフィルターのトリガーに関する洞察を提供し、軽減戦略を知らせるために、リスクと安全性を監視するツールが開始されている。これらのツールは、AIアプリケーションのライフサイクル全体を通じて安全性と信頼性を確保するための広範な取り組みの一環だ。この新機能は、組織がユーザーの信頼を維持し、セキュリティーリスクから保護しながら、生成AIの課題を乗り越えられるよう支援することを目的としている。
