Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

NVIDIA đã công bố những cải tiến cho nền tảng NeMo nhằm hỗ trợ việc phát triển các mô hình AI tạo ra đa phương thức. Nền tảng này hiện hỗ trợ một quy trình toàn diện giúp đơn giản hóa việc quản lý dữ liệu hình ảnh chất lượng cao, tăng tốc quá trình đào tạo và tùy chỉnh, đồng thời cải thiện việc tái cấu trúc hình ảnh trong quá trình suy luận. Sự phát triển này sẽ cho phép tạo ra các mô hình AI chính xác và hiệu quả hơn, mang lại lợi ích cho nhiều ngành công nghiệp.

Thành phần NeMo Curator của nền tảng được thiết kế để hợp lý hóa quy trình quản lý dữ liệu, giảm đáng kể thời gian và chi phí liên quan đến việc xây dựng các mô hình AI tổng hợp đa phương thức. Nó cung cấp một quy trình điều phối có thể xử lý hàng petabyte dữ liệu trên nhiều GPU, giảm thời gian xử lý video tới 7 lần so với việc triển khai GPU tiêu chuẩn. Người quản lý cũng cung cấp một mô hình tham chiếu để quản lý video được tối ưu hóa cho các tác vụ như lọc và tạo phụ đề với thông lượng cao.

Ngoài việc quản lý dữ liệu, NVIDIA đã giới thiệu mã thông báo Cosmos, một mô hình mở cung cấp mã thông báo trực quan nâng cao. Các mã thông báo này được thiết kế để ánh xạ dữ liệu trực quan thành các mã thông báo ngữ nghĩa, nhỏ gọn, tạo điều kiện đào tạo hiệu quả các mô hình tổng hợp quy mô lớn. Chúng hỗ trợ nhiều mô hình khuếch tán và ngôn ngữ hình ảnh khác nhau, đồng thời điều chỉnh các tỷ lệ khung hình và độ phân giải khác nhau để quản lý hình ảnh và video có độ phân giải cao.

Kiến trúc mã thông báo Cosmos có cấu trúc bộ mã hóa/giải mã phức tạp với các khối tích chập nhân quả 3D và sự chú ý nhân quả theo thời gian, đảm bảo xử lý hiệu quả thông tin không gian thời gian. Cấu trúc này cho phép mô hình tập trung vào các tính năng có ý nghĩa, cải thiện hiệu quả học tập và tạo ra hình ảnh và video có độ trung thực cao từ các mã thông báo được nén cao. Trong quá trình suy luận, trình mã thông báo Cosmos có thể đạt được tốc độ tái thiết nhanh hơn tới 12 lần so với các trình mã thông báo trọng lượng mở hàng đầu trong khi vẫn duy trì đầu ra hình ảnh chất lượng cao.

Các cải tiến đối với nền tảng NeMo của NVIDIA, bao gồm NeMo Curator và Cosmos tokenizer, cho phép các nhà phát triển xây dựng các mô hình AI tạo đa phương thức tiên tiến. Bằng cách cải thiện hiệu quả và chất lượng phát triển mô hình AI video, những công cụ này được kỳ vọng sẽ tạo điều kiện thuận lợi cho việc tạo ra các mô hình AI chính xác hơn trong nhiều lĩnh vực khác nhau, từ robot, ô tô đến bán lẻ.