Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Một khuôn khổ nghiên cứu mới, MindJourney, nâng cao khả năng điều hướng và hiểu các không gian 3D mà chúng không thể quan sát trực tiếp của các tác nhân AI. Bằng cách mô phỏng khả năng lập bản đồ không gian trong tâm trí của con người, khuôn khổ này cho phép AI trả lời các câu hỏi không gian phức tạp. Đây là một bước tiến đáng kể so với các mô hình ngôn ngữ thị giác (VLM) truyền thống, vốn nổi trội trong việc nhận dạng vật thể trong hình ảnh nhưng lại gặp khó khăn trong việc diễn giải môi trường 3D từ các biểu diễn 2D.

MindJourney sử dụng hệ thống tạo video được đào tạo trên hàng triệu video để dự đoán sự thay đổi của một cảnh từ các góc nhìn khác nhau. Điều này cho phép AI tạo ra hình ảnh chân thực về các phần chưa được nhìn thấy của cảnh để hỗ trợ suy luận không gian. VLM lọc các hình ảnh này, tập trung vào các góc nhìn phù hợp nhất để trả lời các truy vấn không gian. Quá trình lựa chọn này cho phép AI tìm kiếm góc nhìn chính xác một cách hiệu quả, cho phép nó hoạt động hiệu quả.

Thuật toán tìm kiếm chùm tia không gian của khung là chìa khóa thành công bằng cách cân bằng việc khám phá nhiều đường dẫn với độ sâu nghiên cứu của từng đường dẫn. Phương pháp này đã cải thiện độ chính xác 8% trên chuẩn đào tạo năng khiếu không gian, chứng minh rằng MindJourney có thể nâng cao khả năng suy luận không gian của VLM mà không cần đào tạo thêm.

Tiềm năng của MindJourney mở rộng sang nhiều ứng dụng khác nhau, bao gồm robot tự hành, công nghệ nhà thông minh và các công cụ hỗ trợ cho người khiếm thị. Bằng cách cho phép các tác nhân AI lập kế hoạch và dự đoán, nền tảng này thu hẹp khoảng cách giữa nhận dạng hình ảnh tĩnh và tương tác môi trường động. Các cải tiến Future hướng đến việc kết hợp các mô hình thế giới có khả năng dự đoán những thay đổi theo thời gian, cải thiện hơn nữa khả năng điều hướng và tương tác của AI với không gian thực tế.