Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Google DeepMind đã đăng một bài đăng trên blog vào ngày 28 tháng 7 có tên "RT-2: Một mô hình mới biến tầm nhìn và ngôn ngữ thành hành động". Dưới đây là tóm tắt của bài viết. Bài viết của DeepMind mô tả sự phát triển của mô hình Hành động Ngôn ngữ Tầm nhìn (VLA) mới có tên Robotic Transformer 2 (RT-2) kết hợp dữ liệu web và robot để tạo ra các hướng dẫn điều khiển robot. Các mô hình ngôn ngữ hình ảnh lớn (VLM) được đào tạo trên các bộ dữ liệu quy mô web đã được chứng minh là có hiệu quả trong việc nhận dạng các mẫu ngôn ngữ và hình ảnh, nhưng rất khó để robot đạt được các khả năng tương tự nếu cần có dữ liệu trực tiếp. RT-2 được xây dựng dựa trên mẫu trước đó của nó, Robotic Transformer 1 (RT-1), bằng cách kết hợp các phần trình diễn đa tác vụ và đào tạo về dữ liệu robot được thu thập trong hơn 17 tháng trong môi trường nhà bếp văn phòng. RT-2 thể hiện khả năng khái quát hóa được cải thiện và khả năng diễn giải các lệnh mới cũng như thực hiện suy luận cơ bản. Mô hình này điều chỉnh VLM để điều khiển robot bằng cách biểu diễn các hành động dưới dạng mã thông báo trong đầu ra của mô hình. RT-2 được tinh chỉnh cho robot và dữ liệu web, đồng thời có thể thực hiện nhiều nhiệm vụ khác nhau đòi hỏi sự hiểu biết về ngữ nghĩa trực quan và điều khiển robot. Mô hình này cho thấy hiệu suất khái quát hóa được cải thiện so với các đường cơ sở trước đó và vượt trội hơn các mô hình khác trong các nhiệm vụ liên quan đến các đối tượng, nền và môi trường chưa từng thấy trước đây. RT-2 đạt được tỷ lệ thành công cao trong cả tình huống mô phỏng và thế giới thực. Mô hình này cũng kết hợp lý luận chuỗi suy nghĩ cho phép lập kế hoạch dài hạn và các kỹ năng cấp thấp trong một mô hình duy nhất. RT-2 chứng tỏ tiềm năng của các mô hình VLA trong việc điều khiển robot và thực hiện nhiều nhiệm vụ khác nhau trong thế giới thực.