Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

NVIDIAのAIレッドチームは、AIシステムの潜在的な脅威を特定するために、現実世界の攻撃のシミュレーションに積極的に取り組んでおり、特に生成型AIとマルチモーダルAIの脆弱性に焦点を当てています。彼らの研究は、即時の解決策を提供するものではなく、セキュリティ強化のための協力的な取り組みが必要な領域を明らかにしています。

チームは、自然言語を回避し、絵文字シーケンスや判じ絵パズルなどの記号的な視覚入力を用いてエージェントシステムを操作する、マルチモーダルプロンプトインジェクションという新しいカテゴリーを導入しました。このアプローチは従来の入力フィルタリングを回避するため、AIワークフローのセキュリティ確保には出力レベルの防御が必要であることが示唆されています。

これまで、マルチモーダルプロンプトインジェクション攻撃は、画像内に悪意のあるテキストを埋め込み、それをテキストパイプラインで処理することでAIシステムを操作してきました。しかし、OpenAIのoシリーズのような、モダリティを埋め込みベクトルに処理して統合デコードを行うモデルの登場により、隠されたテキストペイロードを必要とせずに、マルチモーダル入力を直接統合することを悪用する新しい攻撃手法が登場しています。

マルチモーダルモデル、特にMeta Llama 4のような初期の融合アーキテクチャの進化により、テキストと画像を共有潜在空間でシームレスに統合できるようになり、より高度なクロスモーダル推論が可能になりました。この進歩は、攻撃者が従来のテキストベースのセキュリティ対策を回避し、視覚的に指示をエンコードした画像シーケンスを作成するという、新しいタイプの攻撃を可能にしました。

こうした新たな脅威への対応として、NVIDIAはAIセキュリティ戦略の転換を提案しています。入力フィルタリングだけに頼るのではなく、適応型出力フィルタ、階層型防御、セマンティック・クロスモーダル分析を実装し、攻撃を検知・軽減することに重点を置くべきです。レッドチーム演習とフィードバックループを通じてこれらの防御を継続的に調整することは、実稼働環境におけるAIシステムの安全性と回復力を確保するために不可欠です。