NVIDIA mengumumkan Cosmos, sebuah platform yang dirancang untuk mendukung pengembangan model berbasis dunia (WFM), yang penting untuk robot dan kendaraan otonom generasi berikutnya yang digerakkan oleh AI. WFM Cosmos sangat penting untuk menghasilkan data sintetis yang beragam dan representatif, serta mengatasi tantangan dalam mengumpulkan kumpulan data dunia nyata. Model-model ini berfungsi sebagai fondasi pasca-pelatihan untuk memungkinkan terciptanya model AI berbasis fisika yang spesifik domain.

Cosmos Transfer, komponen utama platform, unggul dalam menghasilkan pemandangan dunia dengan ketelitian tinggi dari masukan terstruktur seperti peta segmentasi dan pemindaian LiDAR. Model ini menggunakan arsitektur ControlNet untuk memastikan konsistensi dan memanfaatkan peta kontrol spasiotemporal untuk komposisi pemandangan yang lebih halus. Hal ini memungkinkan pembuatan rangkaian video fotorealistik dengan kontrol yang tepat atas tata letak dan gerakan, yang penting untuk melatih agen AI.

Pengembang dapat memanfaatkan NVIDIA Omniverse, yang dibangun di atas OpenUSD, untuk membuat simulasi 3D akurat dari lingkungan dunia nyata. Simulasi ini dapat digunakan bersama dengan Cosmos Transfer untuk membuat set data pelatihan berkualitas tinggi yang memungkinkan agen AI untuk melakukan generalisasi dari simulasi ke penerapan di dunia nyata. Alur kerja ini dirancang untuk mempercepat pembuatan data pelatihan dan memastikan generalisasi sistem AI yang efektif.

Cosmos Transfer juga memainkan peran penting dalam pengembangan robotika dengan menyediakan pencahayaan dan tekstur yang realistis untuk pembuatan gerakan manipulasi sintetis. Cosmos Transfer mendukung pelatihan model untuk AI persepsi dan model robot khusus, memastikan transisi yang lancar dari simulasi ke realitas. Bagi mereka yang tertarik menggunakan Cosmos Transfer, model tersedia di Hugging Face, dan petunjuk terperinci untuk melakukan inferensi dan pasca-pelatihan pada berbagai model kebijakan tersedia di GitHub.