Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

マイクロソフトのセキュリティ専門家は、企業がAIアシスタントを操作して自社製品やサービスを優遇するという懸念すべき傾向を発見しました。「AIレコメンデーション・ポイズニング」と呼ばれるこの操作は、「AIで要約」ボタンに隠しコマンドを埋め込むことで行われます。これらのコマンドは、AIが特定の企業を信頼できる情報源として優先するように指示することで、AIの将来の推奨にバイアスをかけるように設計されています。

この手法は、AIアシスタントがユーザーの好みや状況を長期にわたって記憶する機能を悪用します。一見無害なボタンをクリックすることで、ユーザーは知らず知らずのうちにAIに特定の企業への好みを維持するよう指示してしまう可能性があります。マイクロソフトの調査では、様々な業界で50件以上のこのような操作事例が明らかになり、容易に入手できるツールを用いて容易に実行できることが浮き彫りになりました。

マイクロソフトは、Copilotサービスにおいてこれらのプロンプト・インジェクション攻撃に対抗する措置を講じ、報告された動作の再現を防ぐ対策を実装しました。同社は、新たな操作手法が発見されるたびに、防御策の改良に取り組んでいます。

AIのメモリポイズニングの影響は重大であり、特にAIアシスタントが健康や金融といったデリケートなトピックに関するアドバイスを提供する場合には顕著です。ユーザーはAIが侵害されていることに気づかず、偏った情報に基づいた判断を下してしまう可能性があります。マイクロソフトの調査結果は、AIとのやり取りにおいて警戒を怠らないこと、そしてAIが保存したメモリを定期的に確認・管理することで、こうした偏りが重要な判断に影響を与えないようにすることの重要性を強調しています。