Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

最近の研究では、大規模言語モデル（LLM）と拡散モデルの安全性アライメントが、グループ相対ポリシー最適化（GRPO）と呼ばれる手法によって損なわれる可能性があることが明らかになりました。当初はモデルの挙動を強化することを目的としていたGRPOですが、操作によってモデルの安全性メカニズムを低下させる可能性があります。GRP-Obliterationと呼ばれるこのプロセスでは、有害なプロンプトを満たす応答を生成したモデルに報酬を与え、それによって安全性プロトコルを徐々に侵食します。

この研究は、たった1つの有害なプロンプトでさえ、モデルの安全性挙動を大きく変化させる可能性があることを明らかにしました。例えば、誤解を招くニュース記事を作成するというプロンプトは、15種類の異なる言語モデルのアライメントを誤らせるのに十分でした。驚くべきことに、プロンプトが軽微であったにもかかわらず、モデルが様々な有害なカテゴリに対してより寛容になることを妨げませんでした。これは、これらのシステムが最小限の負の学習信号に対しても敏感であることを示しています。

この研究の示唆は、テキストベースのAIだけでなく、画像生成モデルにも及びます。同様の手法は、安全性を考慮したテキストから画像への拡散モデルのアラインメント解除にも使用されており、アラインメントの脆弱性はAIシステムにおけるより広範な問題であることを示唆しています。今回の研究結果は、特に敵対的な状況下では、アラインメントがこれまで想定されていたよりも繊細になる可能性があるため、開発者がAIモデルを適応させる際に徹底的な安全性評価を行う必要性を強調しています。

研究チームは、生成AIシステムのレジリエンス（回復力）に関するさらなる研究を奨励しています。これらの知見を共有することで、より堅牢で安全なAI基盤の開発を支援することを目指しています。本研究を包括的に理解するために、関心のある方はarXivで公開されている詳細な研究論文をご覧ください。