Kerangka kerja penelitian baru, MindJourney, meningkatkan kemampuan agen AI untuk menavigasi dan memahami ruang 3D yang tidak dapat mereka amati secara langsung. Dengan mensimulasikan kemampuan manusia untuk memetakan ruang dalam pikiran mereka, kerangka kerja ini memungkinkan AI untuk menjawab pertanyaan spasial yang kompleks. Ini merupakan kemajuan signifikan dibandingkan model bahasa visual (VLM) tradisional, yang unggul dalam mengenali objek dalam gambar tetapi kesulitan dalam menginterpretasikan lingkungan 3D dari representasi 2D.

MindJourney menggunakan sistem pembangkit video yang dilatih dengan jutaan video untuk memprediksi bagaimana suatu pemandangan akan berubah dari berbagai sudut pandang. Hal ini memungkinkan AI untuk menghasilkan gambar realistis dari bagian-bagian pemandangan yang tak terlihat untuk membantu penalaran spasial. VLM menyaring gambar-gambar ini, memfokuskan pada sudut pandang yang paling relevan untuk menjawab pertanyaan spasial. Proses seleksi ini memungkinkan AI untuk mencari sudut pandang yang tepat secara efisien, sehingga dapat berfungsi secara efisien dan efektif.

Algoritma pencarian berkas spasial kerangka kerja ini menjadi kunci keberhasilannya dengan menyeimbangkan eksplorasi berbagai jalur dengan kedalaman investigasi setiap jalur. Pendekatan ini menghasilkan peningkatan akurasi sebesar 8% pada tolok ukur pelatihan bakat spasial, yang menunjukkan bahwa MindJourney dapat meningkatkan kemampuan penalaran spasial VLM tanpa pelatihan tambahan.

Potensi MindJourney meluas ke berbagai aplikasi, termasuk robot otonom, teknologi rumah pintar, dan alat bantu bagi penyandang tunanetra. Dengan memungkinkan agen AI untuk merencanakan dan memprediksi, kerangka kerja ini menjembatani kesenjangan antara pengenalan gambar statis dan interaksi lingkungan yang dinamis. Pengembangan di Future bertujuan untuk menggabungkan model dunia yang dapat memprediksi perubahan seiring waktu, yang selanjutnya akan meningkatkan kemampuan AI untuk bernavigasi dan berinteraksi dengan ruang dunia nyata.