Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

NVIDIA AIのレッドチームは、自律的な推論と行動の能力が高まっているマルチモーダルAIモデルの脆弱性を積極的に調査してきました。彼らの調査により、AIの進化に伴い、攻撃手法も進化していることが明らかになりました。当初はテキストベースのプロンプトインジェクションがAIの出力を操作するために使用されていましたが、AIシステムが高度化するにつれて、攻撃者は画像や音声に悪意のある命令を埋め込むようになりました。最新の脅威は、マルチモーダル推論攻撃です。攻撃者はAIの問題解決能力を悪用する認知課題を作成し、有害なコマンドの実行につながる可能性があります。

チームの調査結果によると、これらのマルチモーダル認知攻撃は、テキスト、画像、音声などの異なる入力を組み合わせるAIモデルの初期の融合プロセスを標的としています。認知課題にペイロードを埋め込むことで、攻撃者はモデルの推論メカニズムを操作し、その計算プロセスを侵害への道へと変えることができます。このアプローチは従来の入力フィルターを回避し、推論プロセス自体に焦点を当てたアーキテクチャレベルでのAIセキュリティの再評価を必要とします。

研究者らが示した例としては、Gemini 2.5 Proモデルに対するスライディングパズル攻撃が挙げられます。攻撃者は、AIが解くことで悪意のある命令を再構成するコマンドをパズル全体に分散させることができます。この手法は静的解析ツールを回避するだけでなく、コマンドをAIの問題解決タスクの論理的な結果として捉えます。本研究は、入力検証にとどまらず、AIシステムの推論プロセスにも対処する新たな防御戦略の必要性を強調しています。

これらの知見は、現在のAIシステムが推論能力を悪用する攻撃に対して脆弱であることを示唆しており、重要な示唆を与えています。本研究は、推論プロセスを検証し、計算サンドボックスを実装し、出力中心のセキュリティアーキテクチャを確立できる新たなセキュリティ対策の開発の重要性を強調しています。AIが様々な分野に統合されていくにつれ、これらの高度な攻撃から保護する必要性が高まり、AIセキュリティへのアプローチの転換が求められています。