NVIDIA mengumumkan serangkaian alat AI dan simulasi yang bertujuan untuk mempercepat pengembangan robot bertenaga AI pada Robot Learning Conference di Munich. Penawaran produk mencakup kerangka pembelajaran robot Isaac Lab yang kini tersedia secara umum, enam alur kerja pembelajaran robot humanoid baru untuk Project GR00T, dan termasuk alat pengembangan model dunia tingkat lanjut untuk kurasi dan pemrosesan data video.

Tokenizer Cosmos sumber terbuka milik perusahaan dirancang untuk mendukung tokenisasi visual bagi pengembang robot, menawarkan tingkat kompresi yang unggul dan token berkualitas tinggi hingga 12x lebih cepat daripada tokenizer Masu yang ada. Selain itu, alat Kurator NeMo diatur untuk menyederhanakan kurasi pemrosesan video, sehingga menghasilkan kinerja hingga 7x lebih cepat dibandingkan pipeline tradisional.

Bersamaan dengan konferensi tersebut, NVIDIA juga merilis banyak sumber daya untuk para pengembang, termasuk 23 makalah penelitian, sembilan lokakarya, dan berbagai pelatihan dan panduan alur kerja. Kolaborasi dengan Hugging Hugging Face bertujuan untuk mengintegrasikan LeRobot, NVIDIA Isaac Lab, dan NVIDIA Jetson bagi komunitas pengembang untuk lebih mendukung penelitian robotika open source.

Isaac Lab dari NVIDIA, dibangun pada platform Omniverse, adalah kerangka pembelajaran robot komprehensif yang mendukung berbagai macam robot. Ini digunakan oleh banyak perusahaan robotika besar di seluruh dunia. Sementara itu, Project GR00T berfokus pada kemajuan pengembangan robot humanoid melalui alur kerja khusus dan model dasar. Alur kerja ini mencakup berbagai fungsi, mulai dari lingkungan AI generatif hingga penginderaan multimodal, dan bertujuan untuk menyederhanakan pembuatan robot humanoid untuk tujuan umum.

Pengembang robot semakin banyak membangun model dunia, yang merupakan representasi AI yang memprediksi bagaimana robot akan berinteraksi dengan lingkungannya. Tokenizer Cosmos dan Kurator NeMo dari NVIDIA sangat penting untuk proses ini, menyediakan pengkodean, decoding, dan kurasi data yang efisien. Alat-alat ini sudah digunakan oleh perusahaan seperti 1X dan XPENG Robotics untuk mengelola data visual resolusi tinggi secara efektif.

Kontribusi NVIDIA terhadap komunitas pembelajaran robotik di CoRL, termasuk menerbitkan makalah penelitian inovatif dan berpartisipasi dalam lokakarya, menyoroti komitmen perusahaan untuk memajukan bidang ini. Isaac Lab 1.2, tokenizer Cosmos, dan Kurator NeMo yang akan datang untuk pemrosesan video, bersama dengan alur kerja Project GR00T yang baru, memberi pengembang alat yang mereka perlukan untuk mendorong batas-batas pengembangan robot.