Pada pameran dagang CES, NVIDIA meluncurkan NVIDIA Cosmos, platform baru yang dirancang untuk mendukung pengembangan sistem AI fisik seperti kendaraan otonom (AV) dan robot. Cosmos mengintegrasikan model berbasis dunia generatif, tokenizer canggih, dan alur pemrosesan video cepat untuk melengkapi rangkaian alat pengembangan AV NVIDIA yang sudah ada. Penambahan ini bertujuan untuk mengubah cara pengembang membuat dan meningkatkan model AI dengan memanfaatkan skenario berkendara sintetis untuk memperluas data pelatihan secara drastis.

Sanja Fidler, wakil presiden penelitian AI perusahaan, menjelaskan bahwa roda gila AV Data Factory, yang mencakup pengumpulan data kendaraan dan rekonstruksi 4D, akan diuntungkan dari integrasi NVIDIA Omniverse dan Cosmos. Alat-alat ini memungkinkan pengembang untuk menghasilkan berbagai macam kondisi berkendara untuk pelatihan dan evaluasi yang lebih komprehensif. Sementara itu, Norm Marks, wakil presiden otomotif NVIDIA, menyoroti tantangan biaya dan sumber daya yang secara tradisional dikaitkan dengan pengembangan model AI fisik. Ia mencatat bahwa Cosmos menyederhanakan proses ini melalui AI generatif, yang memfasilitasi pembuatan model AI yang lebih cerdas dan lebih akurat.

Beberapa pemimpin industri sudah menggunakan Cosmos untuk membangun AI fisik bagi AV. Waabi berencana menggunakan platform tersebut untuk mencari dan menyusun data video, dan Wayve mengevaluasi Cosmos untuk mengidentifikasi skenario berkendara unik yang penting bagi keselamatan dan validasi. Foretellix berencana menggunakan Cosmos bersama dengan NVIDIA Omniverse Sensor RTX API untuk menciptakan skenario pengujian dan data pelatihan yang dapat diskalakan dan berfidelitas tinggi. Selain itu, kolaborasi Uber dengan NVIDIA bertujuan untuk memajukan mobilitas otonom dengan menggabungkan kumpulan data berkendara yang kaya dengan kemampuan platform Cosmos dan NVIDIA DGX Cloud untuk memungkinkan model AI yang lebih tangguh bagi mitra AV.

Model dasar dunia Cosmos saat ini dapat diakses berdasarkan lisensi model terbuka dari Hugging Face dan katalog NVIDIA NGC, dengan layanan mikro NVIDIA NIM yang dioptimalkan sepenuhnya diharapkan akan segera dirilis. Pihak yang berminat dapat melihat Cosmos dan menghubungi NVIDIA di CES untuk informasi lebih lanjut.