NVIDIA sedang mengatasi tantangan untuk mengintegrasikan "akal sehat" yang seringkali dianggap remeh oleh manusia ke dalam model AI. Perusahaan ini sedang mengembangkan uji coba untuk melatih AI agar memahami batasan dunia fisik, sebuah langkah penting dalam mengembangkan aplikasi di lingkungan yang tidak dapat diprediksi seperti gudang industri dan jalan raya.

NVIDIA Cosmos Reason, sebuah model bahasa visual (VLM) penalaran terbuka, baru-baru ini meraih peringkat teratas dalam papan peringkat penalaran fisika. Model ini menonjol karena kemampuannya menghasilkan respons berdasarkan pemahaman temporal, sehingga sangat berguna dalam robotika, kendaraan otonom, ruang pintar, dan banyak lagi.

Untuk mempersiapkan model AI untuk lingkungan yang kompleks, NVIDIA memulai dengan pelatihan dasar. Misalnya, model Cosmos Reason diajarkan kesadaran spasiotemporal dengan mengajukan pertanyaan pilihan ganda tentang gerakan dalam video. Pelatihan ini penting bagi robot bertenaga AI untuk mencegah kecelakaan dan memastikan keselamatan dalam tugas-tugas kritis keselamatan seperti uji tabrak kendaraan.

Tim Data Factory NVIDIA, yang terdiri dari analis multidisiplin, mengumpulkan set data besar yang diperlukan untuk pelatihan inferensi model Generative AI . Mereka membuat pasangan pertanyaan dan jawaban berbasis video di dunia nyata, melakukan pemeriksaan kualitas, lalu melatih model menggunakan pembelajaran penguatan. Proses ini penting untuk mengembangkan sistem AI yang dapat berinteraksi dengan aman dengan dunia nyata.