Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

MITREとMicrosoftは、データ駆動型の生成AIに焦点を当て、セキュリティー専門家とAI開発者向けのコミュニティーナレッジ ベースであるMITRE ATLAS™ を強化した。この更新プログラムは、生成AIとChatGPTやBardなどの大規模言語モデル（LLM）を組み込んだシステムに特有の脆弱性に対処する。その目的は、消費者や組織によって急速に導入されているLLM対応システムにおける攻撃経路の数と種類の増加について現実的な説明を提供することだ。

MITRE ATLAS （Adversarial Threat Landscape for Artificial-Intelligence Systemsの略）の機能強化は、ヘルスケア、金融、交通などのさまざまなAIアプリケーションにわたる悪意のある攻撃に対する防御を強化するように設計されている。このナレッジベースは世界中からアクセスでき、実際の攻撃の観察と、AIレッドチームやセキュリティー グループによる現実的なデモンストレーションに基づいているという。

ATLASプロジェクトは、100を超える政府、学術、業界組織が参加する世界的なコラボレーションだ。この提携の一環として、MITREとマイクロソフトはATLASを拡張し、AI対応システムのセキュリティーを強化する産業界、政府機関、学界をサポートするフレームワークに基づいたツールを開発したとのこと。

新しいATLASの戦術とテクニックは、2023年にユーザーやセキュリティー研究者によって発見されたインシデントのケーススタディに基づいている。これには、ChatGPTプラグインでのプライバシー漏洩、虚偽の事実を返すように事前トレーニングされたLLMを変更する方法のデモンストレーションが含まれる。MathGPT内の脆弱性により、攻撃者がホストシステムの環境変数やアプリのGPT-3 APIキーにアクセスできる可能性があるとのことだ。