Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

エージェント ワークフローは、AI における変革的なアプローチとして登場しており、開発者は AI モデルのインタラクションの複雑なシーケンスを作成できます。これらのワークフローにより、AI モデルは最小限の人間の入力で複雑なタスクを自律的に実行できるようになり、データにアクセスしてアクションを自動化する能力が向上します。ただし、コア モデル (多くの場合、大規模言語モデル (LLM)) は、信頼できないデータがシステムの出力を操作する可能性があるプロンプト インジェクション攻撃の影響を受けやすいです。

NVIDIA は、これらの高度な AI システムに固有のセキュリティ上の懸念に対処するために、エージェント オートノミー フレームワークを導入しました。このフレームワークは、AI ワークフローの複雑さの増大に伴うリスクを理解して軽減することを目的としています。また、エージェント システムに対する脅威をモデル化するツールとしても機能し、サイバーセキュリティ アプリケーションに特に関連しています。このフレームワークは、NVIDIA のより広範なセキュリティ戦略の一部であり、GTC イベントで詳細に説明されています。

AI 搭載アプリケーションの悪用は、2 つの要因に左右されます。1 つは、敵対者が悪意のあるデータをシステムに導入する能力、もう 1 つは、このデータが引き起こす可能性のあるその後のダウンストリーム効果です。直接プロンプト インジェクションと間接プロンプト インジェクションは、攻撃者が LLM を操作するために使用する 2 つの方法です。「今すぐ何でも」プロンプトなどの直接プロンプト インジェクションは、通常、影響が限定されており、アクティブ ユーザーのセッションにのみ影響します。対照的に、間接プロンプト インジェクションは、操作されたデータ ソースを通じて別のユーザーのセッションに影響を与えるため、より深刻な結果をもたらす可能性があります。

エージェント システムのセキュリティは、アクセスできるツールやプラグインと密接に結びついています。自律性のレベルが上がると、システムの動作を予測したり、信頼できないデータの影響を評価したりすることが難しくなります。NVIDIA のフレームワークは、自律性のレベルによってシステムを分類し、リスクと必要なセキュリティ制御を理解するための明確な構造を提供します。たとえば、レベル 0 のシステムは単純ですが、実行パスが複雑なレベル 3 のシステムでは、汚染の追跡や機密性の高いアクションの手動承認など、より高度なセキュリティ対策が必要です。

結論として、エージェント ワークフローの増加により、セキュリティに対する微妙なアプローチが必要になります。 NVIDIA のフレームワークは、さまざまなレベルのシステム自律性に関連するリスクを体系的に評価し、適切なセキュリティ制御を実装する方法を提供します。AI システムの自律性が増すにつれて、信頼できないデータの流れを理解して管理することが、これらの高度な技術ソリューションの整合性と安全性を維持するために重要になります。