Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

NVIDIA đã giới thiệu một phương pháp mới giúp dễ dàng tạo ra môi trường 3D chân thực cho mô phỏng robot chỉ bằng điện thoại thông minh. Quá trình này bắt đầu bằng việc chụp ảnh thực tế bằng camera trên điện thoại thông minh. Các phương pháp tối ưu về ảnh trắc lượng, chẳng hạn như ánh sáng, lấy nét và tránh nhòe chuyển động, rất quan trọng. Để có kết quả đồng nhất, nên khóa nét và phơi sáng, giữ máy ảnh ổn định và tránh tự động chuyển đổi macro. Để điều khiển thủ công tốc độ màn trập và ISO, nên sử dụng một số ứng dụng iOS.

Sau khi chụp ảnh, phần mềm nguồn mở COLMAP được sử dụng để tái tạo lại cảnh một cách thưa thớt và xác định cấu trúc 3D cũng như vị trí camera từ ảnh. COLMAP tạo ra một đám mây điểm thưa thớt và ước tính các thông số camera cần thiết cho bước tiếp theo. Người dùng có thể thực hiện quy trình này bằng giao diện dòng lệnh hoặc giao diện người dùng đồ họa của COLMAP, giao diện thứ hai thân thiện hơn với người mới bắt đầu.

Bước thứ ba sử dụng thuật toán 3DGUT để chuyển đổi mô hình và hình ảnh thưa thớt thành một cảnh 3D dày đặc, chân thực như ảnh. Quá trình này yêu cầu xây dựng một môi trường 3DGUT trên hệ thống Linux đáp ứng các yêu cầu cụ thể và chạy một tập lệnh huấn luyện để tối ưu hóa biểu diễn 3D. Thời gian xử lý có thể thay đổi tùy thuộc vào độ phức tạp của cảnh và GPU của người dùng. Đầu ra cuối cùng bao gồm một hình ảnh được tái tạo dày đặc và một tệp USDZ có thể được nhập trực tiếp vào NVIDIA Isaac Sim.

Cuối cùng, cảnh được tái tạo sẽ được triển khai trên NVIDIA Isaac Sim, nơi người dùng có thể thêm robot để tạo môi trường mô phỏng tương tác. Quá trình này bao gồm nhập tệp USDZ, thêm mặt phẳng đất cho vật lý và chèn robot từ tài sản Isaac Sim. Sau khi thiết lập, robot có thể tương tác với cảnh 3D chân thực, cho phép thực hiện nhiều mô phỏng và thử nghiệm khác nhau.

NVIDIA khuyến khích người dùng khám phá quy trình làm việc này và cung cấp các tài nguyên như ví dụ NuRec từ bộ sưu tập NVIDIA Physical AI cho Hugging Face, quy trình làm việc tham chiếu từ thực tế sang mô phỏng, cùng nhiều công cụ dành cho nhà phát triển và tài liệu đào tạo. Chúng tôi cũng mời bạn tham dự Ngày hội Trí tuệ Nhân tạo và Robot Vật lý tại NVIDIA GTC ở Washington, DC, để tìm hiểu thêm về cách công nghệ NVIDIA đang thúc đẩy AI.