NVIDIA telah memperkenalkan metode baru untuk menciptakan lingkungan 3D realistis dengan mudah untuk simulasi robot hanya menggunakan ponsel pintar. Prosesnya dimulai dengan menangkap pemandangan dunia nyata menggunakan kamera ponsel pintar Anda. Praktik terbaik fotogrametri, seperti pencahayaan yang tepat, fokus, dan menghindari blur gerakan, sangatlah penting. Untuk hasil yang konsisten, disarankan untuk mengunci fokus dan pencahayaan, menjaga kamera tetap stabil, dan menghindari peralihan makro otomatis. Untuk kontrol manual kecepatan rana dan ISO, beberapa aplikasi iOS direkomendasikan.

Setelah gambar diambil, perangkat lunak sumber terbuka COLMAP digunakan untuk melakukan rekonstruksi sparse pemandangan dan menentukan struktur 3D serta posisi kamera dari gambar tersebut. COLMAP menciptakan titik awan sparse dan memperkirakan parameter kamera yang penting untuk langkah selanjutnya. Pengguna dapat melakukan proses ini menggunakan antarmuka baris perintah COLMAP atau antarmuka pengguna grafis (GUI), yang lebih ramah pengguna bagi pemula.

Langkah ketiga menggunakan algoritma 3DGUT untuk mengonversi model dan gambar sparse menjadi adegan 3D yang padat dan fotorealistis. Proses ini memerlukan pembangunan lingkungan 3DGUT pada sistem Linux yang memenuhi persyaratan spesifik dan menjalankan skrip pelatihan untuk mengoptimalkan representasi 3D. Waktu pemrosesan dapat bervariasi tergantung pada kompleksitas adegan dan GPU pengguna. Keluaran akhir mencakup gambar rekonstruksi yang padat dan berkas USDZ yang dapat langsung diimpor ke NVIDIA Isaac Sim.

Akhirnya, adegan yang telah direkonstruksi disebarkan ke NVIDIA Isaac Sim, tempat pengguna dapat menambahkan robot untuk menciptakan lingkungan simulasi interaktif. Proses ini melibatkan pengimporan berkas USDZ, penambahan bidang dasar untuk fisika, dan penyisipan robot dari aset Isaac Sim. Setelah disiapkan, robot dapat berinteraksi dengan adegan 3D fotorealistis, yang memungkinkan berbagai simulasi dan pengujian.

NVIDIA mendorong pengguna untuk mengeksplorasi alur kerja ini dan menyediakan sumber daya seperti contoh NuRec dari koleksi NVIDIA Physical AI untuk Hugging Face, alur kerja referensi simulasi-nyata, serta berbagai alat pengembang dan materi pelatihan. Kami juga mengundang Anda untuk menghadiri Physical AI and Robotics Day di NVIDIA GTC di Washington, DC, untuk mempelajari lebih lanjut tentang bagaimana teknologi NVIDIA memajukan AI.