NVIDIA memperkenalkan Deep Object Pose Estimation (DOPE), model jaringan saraf yang dirancang untuk meningkatkan interaksi robot dengan objek dengan secara akurat menentukan pose enam derajat kebebasan (DOF) objek dari gambar RGB. Model ini sangat berguna untuk tugas-tugas yang memerlukan manipulasi objek yang tepat, seperti gudang dan pengaturan medis. Pelatihan DOPE hanya mengandalkan data sintetis, sehingga secara signifikan mengurangi biaya yang terkait dengan pengumpulan data dan anotasi.

Model beroperasi pada tingkat instans, sehingga setiap jenis objek memerlukan pelatihan terpisah. Kekhususan ini memungkinkannya mendeteksi dan berinteraksi dengan objek yang berbeda secara lebih akurat, bahkan ketika terhalang sebagian. Arsitektur DOPE didasarkan pada jaringan saraf konvolusional sepenuhnya, dan berkat algoritma PnP (Perspective-n-point), ia dapat beradaptasi dengan integrasi kamera yang berbeda tanpa memerlukan pelatihan ulang.

Untuk memfasilitasi pelatihan DOPE, NVIDIA menyediakan cara untuk menghasilkan data sintetis menggunakan Isaac Sim. Ini menggunakan teknik pengacakan domain untuk meningkatkan kinerja model dalam skenario dunia nyata. Kumpulan data yang dihasilkan mencakup gambar dan file JSON beranotasi yang merinci kelas, lokasi, orientasi, dan visibilitas objek. Pendekatan ini membantu menjembatani kesenjangan antara lingkungan pelatihan sintetis dan aplikasi dunia nyata.

Setelah dilatih, model DOPE dievaluasi menggunakan berbagai metrik untuk memastikan keakuratannya. Model ini menunjukkan performa yang unggul dibandingkan metode estimasi pose lainnya, meskipun hanya dilatih pada gambar sintetis. Untuk penerapan di dunia nyata, Isaac ROS dari NVIDIA menyediakan paket yang memungkinkan inferensi yang dipercepat GPU, sehingga memungkinkan untuk mengintegrasikan DOPE ke dalam sistem robot untuk aplikasi waktu nyata. saus: