Google DeepMind memposting postingan blog pada tanggal 28 Juli berjudul "RT-2: Model baru menerjemahkan visi dan bahasa menjadi tindakan." Di bawah ini adalah ringkasan artikel tersebut. Artikel DeepMind menjelaskan pengembangan model Vision Language Action (VLA) baru yang disebut Robotic Transformer 2 (RT-2) yang menggabungkan data web dan robotika untuk menghasilkan instruksi kontrol robot. Model bahasa visual (VLM) berukuran besar yang dilatih pada kumpulan data skala web telah terbukti efektif dalam mengenali pola visual dan linguistik, namun sulit bagi robot untuk mencapai kemampuan serupa yang memerlukan data langsung. RT-2 dibangun berdasarkan model sebelumnya, Robotic Transformer 1 (RT-1), dengan menggabungkan demonstrasi multi-tugas dan pelatihan data robot yang dikumpulkan selama 17 bulan di lingkungan dapur kantor. RT-2 menunjukkan peningkatan kemampuan generalisasi dan kemampuan untuk menafsirkan perintah baru dan melakukan inferensi dasar. Model ini mengadaptasi VLM ke kontrol robot dengan merepresentasikan tindakan sebagai token dalam keluaran model. RT-2 disesuaikan untuk robotika dan data web serta dapat melakukan berbagai tugas yang memerlukan pemahaman visual-semantik dan kontrol robot. Model ini menunjukkan peningkatan performa generalisasi dibandingkan dengan garis dasar sebelumnya dan mengungguli model lain dalam tugas yang melibatkan objek, latar belakang, dan lingkungan yang belum pernah dilihat sebelumnya. RT-2 mencapai tingkat keberhasilan yang tinggi baik dalam skenario simulasi maupun dunia nyata. Model ini juga menggabungkan penalaran rantai pemikiran yang memungkinkan perencanaan jangka panjang dan keterampilan tingkat rendah dalam satu model. RT-2 menunjukkan potensi model VLA untuk mengendalikan robot dan melakukan berbagai tugas di dunia nyata.