Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

AIシステムは画像認識、言語生成、タスク実行において大きな進歩を遂げてきましたが、予測不能な誤りを犯すことが多く、安全性と信頼性に懸念が生じています。これらの誤りは、AIエージェントが正確性ではなく妥当性に基づいて学習し、誤った情報に基づいて一見正しい出力を生成することに起因しています。AIが現実世界のアプリケーションにさらに統合されるにつれて、AIの意思決定が実際の環境データに基づいていることを保証することが不可欠になります。

新しいフレームワークであるArgosは、AIモデルが報酬とペナルティを通じて学習する強化学習に焦点を当てることで、AIエージェントの信頼性を向上させることを目指しています。正しい行動のみに報酬を与える従来のモデルとは異なり、Argosはこれらの行動の背後にある推論も評価します。より大規模なモデルとルールベースのチェックを活用することで、AIが入力にオブジェクトやイベントを参照していること、そしてその推論が観測結果と整合していることを確認します。

Argosはマルチモーダルモデル上の検証レイヤーとして動作し、モデルの出力の正確性、参照されたオブジェクトやイベントの存在、そして視覚的な証拠との推論の整合性を精査します。 Argosは、異なるスコアの重要性のバランスをとるためにゲート集約関数を採用し、出力が正しい場合にのみ推論チェックを重視します。このアプローチは、信頼性の低いフィードバックがトレーニングに影響を与えることを防ぎ、強化学習のための安定した報酬信号を提供します。

Argosのインパクトは、空間推論タスクにおいて既存のベースラインを上回る性能を持つモデルをトレーニングし、幻覚を軽減する能力に明らかです。また、Argosは、より少ないトレーニングサンプルでモデルが現実世界のタスクにおいてより良いパフォーマンスを発揮することを可能にし、効率的なAIエージェントを作成する上で報酬設計の重要性を強調しています。この研究は、現実世界の入力に基づいて推論を体系的に構築するAIエージェントへの移行を示唆しており、様々な分野への応用が可能であり、AIシステムの安全性と信頼性を高めます。