Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

新たな研究フレームワーク「MindJourney」は、AIエージェントが直接観察できない3次元空間をナビゲートし、理解する能力を強化します。このフレームワークは、人間の頭の中で空間を地図化する能力をシミュレートすることで、AIが複雑な空間に関する質問に答えることを可能にします。これは、画像内の物体認識には優れているものの、2次元表現から3次元環境を解釈する際には難しさを伴っていた従来の視覚言語モデル（VLM）からの大きな進歩です。

MindJourneyは、膨大な数の動画を学習させた動画生成システムを採用し、様々な視点からシーンがどのように変化するかを予測します。これにより、AIはシーンの見えない部分のリアルな画像を生成し、空間推論を支援します。VLMはこれらの画像をフィルタリングし、空間クエリへの回答に最も関連性の高い視点に焦点を絞ります。この選択プロセスにより、AIは正しい視点を効率的に探索し、効率的かつ効果的に機能します。

このフレームワークの空間ビーム探索アルゴリズムは、複数の経路の探索と各経路の調査の深さのバランスをとることで、その成功の鍵となっています。このアプローチにより、空間適性トレーニングベンチマークにおける精度が8%向上し、MindJourneyが追加トレーニングなしでVLMの空間推論能力を強化できることが実証されました。

MindJourneyの可能性は、自律ロボット、スマートホーム技術、視覚障害者支援ツールなど、様々なアプリケーションに広がっています。AIエージェントが計画と予測を行うことで、このフレームワークは静的画像認識と動的な環境インタラクションの間のギャップを埋めます。Futureの機能強化では、時間経過による変化を予測できる世界モデルを組み込み、AIが現実世界の空間をナビゲートし、インタラクションする能力をさらに向上させることを目指しています。