Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

NVIDIA đã công bố Cosmos, một nền tảng được thiết kế để thúc đẩy sự phát triển của các mô hình dựa trên thế giới (WFM), vốn rất cần thiết cho thế hệ robot và xe tự hành do AI điều khiển tiếp theo. Cosmos WFM rất quan trọng để tạo ra dữ liệu tổng hợp đa dạng, mang tính đại diện, giải quyết các thách thức trong việc thu thập các tập dữ liệu thực tế. Các mô hình này đóng vai trò là nền tảng sau đào tạo để cho phép tạo ra các mô hình AI dựa trên vật lý cụ thể cho từng miền.

Cosmos Transfer, một thành phần chính của nền tảng, rất xuất sắc trong việc tạo ra các cảnh thế giới có độ trung thực cao từ các đầu vào có cấu trúc như bản đồ phân đoạn và quét LiDAR. Mô hình sử dụng kiến ​​trúc ControlNet để đảm bảo tính nhất quán và tận dụng các bản đồ điều khiển không gian-thời gian để tạo thành phần cảnh chi tiết. Điều này cho phép tạo ra các chuỗi video chân thực với khả năng kiểm soát chính xác bố cục và chuyển động, điều này rất cần thiết để đào tạo các tác nhân AI.

Các nhà phát triển có thể tận dụng NVIDIA Omniverse, được xây dựng trên OpenUSD, để tạo ra các mô phỏng 3D chính xác của môi trường thực tế. Các mô phỏng này có thể được sử dụng kết hợp với Cosmos Transfer để tạo ra các tập dữ liệu đào tạo chất lượng cao cho phép các tác nhân AI khái quát hóa từ mô phỏng sang triển khai thực tế. Quy trình làm việc này được thiết kế để đẩy nhanh quá trình tạo dữ liệu đào tạo và đảm bảo khái quát hóa hiệu quả các hệ thống AI.

Cosmos Transfer cũng đóng vai trò quan trọng trong phát triển robot bằng cách cung cấp ánh sáng và kết cấu thực tế để tạo chuyển động thao tác tổng hợp. Cosmos Transfer hỗ trợ đào tạo mô hình cho AI nhận thức và các mô hình robot chuyên dụng, đảm bảo quá trình chuyển đổi suôn sẻ từ mô phỏng sang thực tế. Đối với những người quan tâm đến việc sử dụng Cosmos Transfer, các mô hình có sẵn tại Hugging Face và hướng dẫn chi tiết để thực hiện suy luận và đào tạo sau trên nhiều mô hình chính sách khác nhau được cung cấp trên GitHub.