Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Nhóm NVIDIA NeMo Curator đã giới thiệu một đường truyền phát trực tuyến tăng tốc bằng GPU mới cho việc quản lý video được thiết kế để xử lý lượng dữ liệu khổng lồ do các ứng dụng AI tạo ra. Hiện có thể truy cập trên NVIDIA DGX Cloud, đường truyền sáng tạo này nhằm mục đích tăng cường xử lý nội dung video cần thiết để đào tạo các mô hình AI. Để tối đa hóa thông lượng và tận dụng tối đa khả năng của phần cứng, nhóm đã triển khai các kỹ thuật tự động mở rộng quy mô và cân bằng tải, cải thiện hiệu quả và giảm tổng chi phí sở hữu.

Các phương pháp xử lý hàng loạt truyền thống yêu cầu lưu trữ và truy xuất dữ liệu giữa các giai đoạn, điều này thường dẫn đến việc sử dụng tài nguyên không hiệu quả và tăng latency. Đường truyền phát trực tuyến của NVIDIA giải quyết các vấn đề này bằng cách truyền dữ liệu trực tiếp giữa các giai đoạn và bắt đầu xử lý tiếp theo ngay lập tức. Cách tiếp cận này không chỉ làm giảm latency mà còn đảm bảo thông lượng cân bằng trong toàn bộ đường truyền. Nhóm cũng nhấn mạnh tầm quan trọng của việc tách biệt khối lượng công việc của CPU và GPU để tối ưu hóa hơn nữa việc sử dụng tài nguyên.

Kiến trúc đường ống NeMo Video Curator được xây dựng trên Ray, một khuôn khổ cho phép xử lý song song và mở rộng hiệu quả. Bằng cách quản lý một nhóm các tác nhân Ray, đường ống thích ứng với các nhu cầu khác nhau của các giai đoạn khác nhau, cho phép giai đoạn GPU duy trì hoạt động và năng suất. Việc mở rộng động này rất cần thiết để duy trì thông lượng cao và giảm thiểu thời gian nhàn rỗi của tài nguyên.

Những tiến bộ trong công nghệ quản lý video của NVIDIA đã cho phép đường truyền phát trực tuyến xử lý nội dung video nhanh hơn tới 1,8 lần so với các phương pháp xử lý hàng loạt truyền thống, mang lại những cải tiến đáng kể về hiệu suất. Công ty tiếp tục cải tiến các chiến lược tự động điều chỉnh quy mô và cân bằng tải, đạt được mức cải thiện hiệu suất đáng kinh ngạc là 89 lần so với mức cơ sở, cho phép 2.000 GPU H100 xử lý khoảng 1 triệu giờ dữ liệu video 720p chỉ trong một ngày. NVIDIA hiện đang hợp tác với các đối tác để cải thiện hơn nữa việc quản lý dữ liệu video và đang mời các bên quan tâm tham gia chương trình truy cập sớm của mình cho cả dịch vụ được quản lý và SDK có thể tải xuống.