NVIDIA mengumumkan cetak biru baru, Isaac GR00T-Dreams, yang dirancang untuk meningkatkan pelatihan robot humanoid. Alur kerja inovatif ini menghasilkan data lintasan sintetis yang kaya dari satu gambar dan perintah bahasa, yang memungkinkan robot mempelajari berbagai tugas di lingkungan yang berbeda dengan masukan manusia yang minimal. Cetak biru ini dibangun di atas NVIDIA Cosmos dan memanfaatkan model dasar dunia dan Generative AI untuk memungkinkan pengembang membuat data pelatihan dengan cepat untuk model seperti Isaac GR00T N1.5, yang disebut-sebut sebagai model dasar terbuka pertama untuk penalaran dan keterampilan robot humanoid.

Cetak biru Isaac GR00T-Dreams menandai langkah maju yang besar dalam pelatihan robotika, menyediakan cara untuk membuat sejumlah besar data sintetis yang dapat mengajarkan perilaku baru kepada robot. Pendekatan ini memungkinkan robot untuk beradaptasi dengan situasi dan perilaku baru dengan sebagian kecil data demonstrasi manusia yang biasanya diperlukan. Dengan menggunakan NVIDIA Omniverse dan Cosmos Transfer-1 WFM, cetak biru tersebut mempersiapkan robot untuk berbagai aktivitas dengan meningkatkan skala data yang ada untuk tugas-tugas yang diketahui, sekaligus menghasilkan data yang sama sekali baru untuk tugas-tugas dan lingkungan yang tidak diketahui.

Blueprint NVIDIA menyederhanakan proses pelatihan robot dengan mengubah data robot nyata menjadi lintasan sintetis yang kemudian dapat digunakan untuk melatih robot fisik. Alur kerja data "nyata-ke-nyata" ini secara signifikan mengurangi ketergantungan pada demonstrasi manusia yang terperinci. Proses ini terdiri dari pelatihan dengan demonstrasi manusia yang diikuti oleh pembuatan status dunia "mimpi" atau masa depan, inferensi dan penyaringan untuk memilih skenario berkualitas tinggi, ekstraksi lintasan saraf, dan pelatihan kebijakan visuomotor. Langkah-langkah ini secara kolektif mengubah informasi visual menjadi data yang dapat ditindaklanjuti untuk pembelajaran robot.

NVIDIA juga memperbarui model GR00T N1.5 untuk meningkatkan pemahaman bahasa, melakukan generalisasi ke objek dan lingkungan baru, serta meningkatkan tingkat keberhasilan dalam penanganan material dan tugas manufaktur. Pembaruan tersebut dimungkinkan oleh data pelatihan sintetis yang dihasilkan oleh cetak biru GR00T-Dreams, yang mempersingkat waktu pengembangan dari beberapa bulan menjadi hanya beberapa jam. NVIDIA juga memberikan kontribusi yang signifikan terhadap pengembangan GR00T N1.5 dengan memperluas lebih lanjut NVIDIA Physical AI Dataset yang terbuka dengan ribuan lintasan robot baru. Para pengadopsi awal model GR00T N telah menerapkan model GR00T N ke berbagai aplikasi industri dan otomatisasi rumah.