Penelitian terbaru NVIDIA bertujuan untuk mengatasi kompleksitas pelatihan robot untuk tugas-tugas baru dan menyederhanakan prosesnya dengan meminimalkan kebutuhan pengumpulan dan pelabelan data yang ekstensif. Penggunaan inovatif Generative AI dan model berbasis dunia seperti NVIDIA Cosmos, beserta cetak biru pembangkitan data seperti NVIDIA Isaac GR00T-Mimic dan GR00T-Dreams, menyederhanakan alur kerja pembuatan data sintetis dan pelatihan model robot.

Kemampuan prediktif model berbasis dunia Cosmos, yang dilatih berdasarkan data dunia nyata dalam jumlah besar, merupakan inti dari upaya ini. Model-model ini dapat memprediksi peristiwa masa depan dari satu gambar dan akan memainkan peran kunci dalam menghasilkan data sintetis yang beragam dan realistis untuk pelatihan robot. Pendekatan ini diharapkan dapat secara signifikan mengurangi waktu dan upaya yang biasanya dibutuhkan untuk melatih robot dari hitungan bulan menjadi hitungan jam.

DreamGen, sebuah alur kerja pembangkitan data sintetis, merupakan elemen kunci lain dalam strategi NVIDIA. Pendekatan ini memanfaatkan model berbasis dunia untuk menghasilkan data lintasan robot sintetis dalam jumlah besar, sehingga menghilangkan tugas pengumpulan data manusia jarak jauh yang padat karya. Pendekatan ini diharapkan dapat memungkinkan pembelajaran robot yang skalabel dan generalisasi yang luas di berbagai perilaku, lingkungan, dan morfologi robot.

Selain itu, NVIDIA meluncurkan GR00T N1, sebuah model sumber terbuka yang dirancang untuk membekali robot dengan keterampilan generik dengan belajar dari kombinasi data nyata, manusia, dan sintetis. Terinspirasi oleh kognisi manusia, model ini mengintegrasikan penglihatan, bahasa, dan perilaku untuk memungkinkan robot memahami instruksi dan melakukan tugas-tugas kompleks dalam situasi dinamis.

Selain kemajuan ini, riset NVIDIA mencakup Latent Action Pretraining from Videos (LAPA), sebuah teknik pembelajaran tanpa pengawasan yang mempelajari tindakan yang relevan dengan robot dari video berskala besar tanpa pelabelan manual. Pendekatan Sim-and-Real Co-Training juga menonjol, yang menggabungkan data simulasi dan data dunia nyata untuk mengembangkan kebijakan robot yang lebih adaptif.

Inovasi-inovasi ini telah diadopsi oleh berbagai organisasi untuk meningkatkan kemampuan robot industri dan humanoid. NVIDIA terus berbagi wawasan dan sumber daya melalui Robotics Research and Development Digest (R2D2), mendorong para pengembang untuk terlibat aktif dalam riset dengan menyediakan kursus gratis dan akses ke komunitas riset.