Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

NVIDIA đang giới thiệu Ước tính tư thế đối tượng sâu (DOPE), một mô hình mạng thần kinh được thiết kế để tăng cường tương tác của robot với các đối tượng bằng cách xác định chính xác tư thế sáu bậc tự do (DOF) của các đối tượng từ hình ảnh RGB). Mô hình này đặc biệt hữu ích cho các tác vụ yêu cầu thao tác đối tượng chính xác, chẳng hạn như nhà kho và cơ sở y tế. Hoạt động đào tạo của DOPE chỉ dựa vào dữ liệu tổng hợp, giúp giảm đáng kể chi phí liên quan đến việc thu thập và chú thích dữ liệu.

Mô hình hoạt động ở cấp độ cá thể nên mỗi loại đối tượng đều yêu cầu đào tạo riêng. Tính đặc hiệu này cho phép nó phát hiện và tương tác chính xác hơn với các vật thể khác nhau, ngay cả khi bị che khuất một phần. Kiến trúc của DOPE dựa trên mạng nơ-ron tích chập hoàn chỉnh và nhờ thuật toán PnP (Phối cảnh-n-điểm), nó có thể thích ứng với các tích hợp máy ảnh khác nhau mà không cần phải đào tạo lại.

Để tạo điều kiện thuận lợi cho việc đào tạo DOPE, NVIDIA đã cung cấp cách tạo dữ liệu tổng hợp bằng Isaac Sim. Nó sử dụng các kỹ thuật ngẫu nhiên hóa miền để cải thiện hiệu suất của mô hình trong các tình huống thực tế. Tập dữ liệu được tạo bao gồm hình ảnh và tệp JSON được chú thích nêu chi tiết về lớp, vị trí, hướng và khả năng hiển thị của đối tượng. Cách tiếp cận này giúp thu hẹp khoảng cách giữa môi trường đào tạo tổng hợp và ứng dụng trong thế giới thực.

Sau khi được đào tạo, mô hình DOPE được đánh giá bằng nhiều số liệu khác nhau để đảm bảo độ chính xác của nó. Mô hình đã thể hiện hiệu suất vượt trội so với các phương pháp ước tính tư thế khác, ngay cả khi chỉ được đào tạo trên hình ảnh tổng hợp. Để triển khai trong thế giới thực, Isaac ROS của NVIDIA cung cấp gói cho phép suy luận được tăng tốc bằng GPU, giúp tích hợp DOPE vào hệ thống robot cho các ứng dụng thời gian thực. nước xốt: