NVIDIA hari ini mengumumkan inovasi terbarunya, NVIDIA Cosmos, sebuah platform yang dirancang untuk mempercepat pengembangan AI fisika. Platform ini memperkenalkan keluarga baru World Foundation Models (WFM), jaringan saraf yang dapat memprediksi dan menghasilkan video yang mendukung fisika. Model-model ini dimaksudkan untuk membantu pengembang menciptakan robot canggih dan kendaraan otonom (AV).

Pengumuman yang dibuat di CES menyoroti ketersediaan rangkaian pertama Cosmos WFM untuk simulasi berbasis fisika dan pembuatan data sintetis. Model-model ini dilengkapi dengan tokenizer canggih, pembatas, alur pemrosesan data cepat, dan kerangka kerja untuk kustomisasi dan pengoptimalan model. Lisensi model terbuka NVIDIA memungkinkan para peneliti dan pengembang untuk menggunakan model Cosmos secara bebas untuk tujuan komersial, yang bertujuan untuk mempercepat pengembangan aplikasi AI berbasis fisika di perusahaan-perusahaan dari semua ukuran.

Platform Cosmos NVIDIA siap mendukung komunitas AI fisik dengan menyediakan alat untuk pengembangan teknologi robotika dan AV. Model dapat digunakan secara langsung untuk menghasilkan data sintetis atau disempurnakan menggunakan kerangka kerja NVIDIA NeMo untuk aplikasi tertentu. Perusahaan seperti 1X, Agility Robotics, XPENG, Uber, dan Waabi telah memanfaatkan Cosmos untuk meningkatkan proses pengembangan model mereka. Pengembang dapat mengakses model autoregresif dan difusi Cosmos melalui katalog API NVIDIA dan mengunduh keluarga model dari katalog NVIDIA NGC dan Hugging Face.

Cosmos World Foundation Model merupakan rangkaian model terbuka komprehensif yang mencakup model difusi dan transformator autoregresif untuk pembuatan video. Model-model ini dilatih pada berbagai kumpulan data untuk mensimulasikan interaksi fisik secara akurat dalam lingkungan virtual. Model-model tersebut ditawarkan dalam tiga kategori: Nano, Super, dan Ultra, untuk memenuhi berbagai kebutuhan kinerja dan kualitas. Saat diintegrasikan dengan keluaran NVIDIA Omniverse 3D, model-model tersebut dapat menghasilkan data video sintetis berkualitas tinggi, yang penting untuk melatih robotika dan model persepsi AV. Model-model tersebut saat ini dapat diakses dalam katalog NGC dan Hugging Face juga menyediakan berbagai alat tambahan untuk menyempurnakan perintah teks dan mengoptimalkan dekode video untuk aplikasi realitas tertambah.

Platform Cosmos NVIDIA bukan hanya alat untuk pengembangan model, tetapi juga bukti komitmen perusahaan terhadap praktik AI yang bertanggung jawab. Platform ini mencakup Cosmos Guardrails, yang memastikan penggunaan AI yang aman, dan memiliki sistem watermarking bawaan untuk mengidentifikasi konten yang dihasilkan AI. Untuk informasi lebih lanjut tentang pengembangan dan kemampuan model Cosmos, NVIDIA Research telah menerbitkan makalah penelitian terperinci dan menyediakan kartu model pada Hugging Face.