Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

AI開発企業（サンフランシスコ）は、次世代モデルの開発過程において安全基準の強化と監視体制の再構築を実施した模様だ。内部研究の急速な進展やリスク評価基準に基づき、訓練プロセスの全段階でアライメントおよび隔離対策を拡充させたとされる。

同社は高度なモデルの運用に伴うリスクに対応するため、特定の強化学習トレーニングを一時的に中断し、評価環境のセキュリティを強化したとのことだ。コード実行やツール利用を伴うワークロードに対して厳格なネットワーク隔離と監視システムを適用していると伝えられている。

安全対策の運用には推論計算リソースの一定割合が割り当てられており、異常検知時には迅速な一時停止措置が取られる仕組みのようだ。今後も技術の発展に合わせて予防的フレームワークを改定し、外部機関との連携や透明性の確保を進めていく方針と報じられている。