Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

様々な機関の研究者が協力し、自動コード生成における大規模言語モデル（LLM）がもたらすセキュリティ上の課題に取り組んできました。研究者たちは、これらのモデルはソフトウェアエンジニアリングのタスクを効率化できる一方で、セキュリティ上の欠陥やバイアスを含むコードを生成するリスクもあることを突き止めました。この問題に対処するため、研究チームは、レッドチーム演習（安全でないリクエストや安全でないパターンに対してモデルをテストする演習）と、そのような障害を防ぐための防御メカニズムに重点を置くブルーチーム演習を組み合わせた、新たなアプローチを開発しました。

「BlueCodeAgent：CodeGen AI向けの自動レッドチーム演習によって実現されるブルーチーム演習エージェント」と題されたこの論文では、多様なレッドチーム演習パイプラインを活用する、新たなブルーチーム演習エージェントが紹介されています。BlueCodeAgentと呼ばれるこのエージェントは、レッドチーム演習で蓄積された知識を活用し、安全でないコードの検出性能を向上させます。研究者たちは、意思決定の指針として構成を用いる原則レベル防御と、動的テストを用いて脆弱性を特定するニュアンスレベル分析という2つの戦略を提案しています。これらの戦略を組み合わせることで、エージェントのリスク検出能力が大幅に向上し、様々なデータセットとタスクにおいてF1スコアが平均12.7%向上しました。

BlueCodeAgentは、包括的なレッドチーム演習の知識を活用し、既知のリスクと未知のリスクの両方に汎用化できる点で際立っています。また、脆弱なコード検出における過剰な保守化という一般的な問題にも対処するため、動的テストを組み込むことで誤検知を削減します。エージェントはモデルに依存しないため、様々なLLMで動作し、原則に基づいた防御アプローチにより、倫理およびセキュリティ原則との整合性を維持できます。

研究チームは、BlueCodeAgentをさらに開発し、コード生成における新たなリスクカテゴリをカバーし、より大規模なコードベースへの適用を拡大することを計画しています。また、テキスト、画像、動画、音声などの他のモダリティにもエージェントの機能を拡張し、より幅広いAIアプリケーションにおける安全性と信頼性を確保することを目指しています。