Publikasi terbaru NVIDIA, Robotics Research and Development Digest, membahas secara mendalam peningkatan kemampuan manipulasi robot. Publikasi ini mendiskusikan tiga proyek penelitian inovatif yang bertujuan untuk meningkatkan kemampuan robot dalam berinteraksi dengan lingkungan dinamis dan melakukan tugas-tugas kompleks dengan lebih lincah. Proyek-proyek ini meliputi ThinkAct, yang mengintegrasikan penalaran dan eksekusi aksi tingkat lanjut; pendekatan pelatihan kolaboratif yang menjembatani kesenjangan antara data simulasi dan data dunia nyata; dan RobotSmith, yang berfokus pada desain generatif alat-alat robot.

ThinkAct memperkenalkan kerangka kerja sistem ganda yang menggabungkan perencanaan laten visual yang diperkuat dengan model bahasa skala besar multimodal. Pendekatan ini memungkinkan robot untuk membuat dan mengikuti rencana inferensial berdasarkan umpan balik visual, memastikan bahwa rencana tersebut tidak hanya masuk akal secara teoritis tetapi juga layak secara fisik. Model perilaku selanjutnya dipandu oleh lintasan laten yang berasal dari rencana inferensial, meningkatkan kemampuan robot untuk melakukan tugas dalam berbagai situasi.

Teknik pelatihan bersama (co-training) mengatasi tantangan mentransfer kebijakan dari simulasi ke aplikasi dunia nyata. Kerangka kerja ini menyelaraskan pengamatan dari kedua domain ke dalam ruang laten bersama dan menggunakan teknik transfer optimal, memungkinkan robot untuk mempelajari perilaku efektif baik di lingkungan simulasi maupun nyata. Pendekatan ini menunjukkan potensi dalam generalisasi ke skenario dunia nyata, bahkan ketika data pelatihan terutama berbasis simulasi.

Kerangka kerja RobotSmith menggunakan model bahasa visual untuk secara otomatis mendesain alat yang dioptimalkan untuk tugas manipulasi tertentu. Dalam proses ini, dua agen VLM berkolaborasi untuk menghasilkan bentuk alat, kemudian menyempurnakan desain alat dan lintasan manipulasi melalui optimasi bersama dalam simulasi. Pendekatan ini telah berhasil digunakan untuk membuat alat untuk tugas-tugas kompleks seperti menggoreng pancake, yang menunjukkan potensinya untuk kinerja tugas jangka panjang.

Selain upaya penelitian ini, Cosmos Cookbook dari NVIDIA merupakan sumber daya open-source terkemuka bagi komunitas AI fisik, yang menyediakan pengetahuan praktis, contoh, dan alur kerja untuk menerapkan model Cosmos dalam robotika dan sistem otonom. Cookbook ini bertujuan untuk memfasilitasi pembuatan dataset sintetis realistis yang meningkatkan ketahanan kebijakan robotika dalam aplikasi dunia nyata.

R&D) NVIDIA yang berkelanjutan di bidang robotika dipamerkan melalui proyek-proyek yang diumumkan di NeurIPS 2025. NVIDIA terus berbagi wawasan dan terobosan dalam AI fisik dan robotika, serta menyediakan sumber daya dan pelatihan kepada para pengembang yang tertarik untuk memajukan bidang ini.