Tim NVIDIA NeMo Curator memperkenalkan alur kerja streaming baru yang dipercepat GPU untuk kurasi video yang dirancang untuk menangani sejumlah besar data yang dihasilkan oleh aplikasi AI. Kini dapat diakses di NVIDIA DGX Cloud, alur kerja inovatif ini ditujukan untuk meningkatkan pemrosesan konten video yang penting untuk melatih model AI. Untuk memaksimalkan hasil dan memanfaatkan sepenuhnya kemampuan perangkat keras, tim menerapkan teknik penskalaan otomatis dan penyeimbangan beban, yang meningkatkan efisiensi dan mengurangi total biaya kepemilikan.

Metode pemrosesan batch tradisional memerlukan penyimpanan dan pengambilan data antar tahapan, yang sering kali mengakibatkan sumber daya kurang dimanfaatkan dan latency meningkat. Alur streaming NVIDIA mengatasi masalah ini dengan mentransfer data secara langsung antar tahapan dan segera memulai pemrosesan berikutnya. Pendekatan ini tidak hanya mengurangi latency tetapi juga memastikan throughput yang seimbang di seluruh alur. Tim juga menekankan pentingnya memisahkan beban kerja CPU dan GPU untuk lebih mengoptimalkan penggunaan sumber daya.

Arsitektur alur kerja NeMo Video Curator dibangun di atas Ray, kerangka kerja yang memungkinkan pemrosesan paralel dan penskalaan yang efisien. Dengan mengelola sekumpulan aktor Ray, alur kerja beradaptasi dengan berbagai tuntutan dari berbagai tahap, yang memungkinkan tahap GPU tetap aktif dan produktif. Penskalaan dinamis ini penting untuk mempertahankan throughput tinggi dan meminimalkan waktu menganggur sumber daya.

Kemajuan dalam teknologi kurasi video NVIDIA telah memungkinkan jaringan streaming untuk memproses konten video hingga 1,8x lebih cepat daripada metode batch tradisional, yang menghasilkan peningkatan kinerja yang signifikan. Perusahaan terus menyempurnakan strategi penskalaan otomatis dan penyeimbangan bebannya, mencapai peningkatan kinerja 89x yang mencengangkan dari baseline, yang memungkinkan 2.000 GPU H100 untuk memproses sekitar 1 juta jam data video 720p dalam satu hari. NVIDIA saat ini bekerja sama dengan mitra untuk lebih meningkatkan kurasi data video dan mengundang pihak yang berminat untuk bergabung dengan program akses awal untuk layanan terkelola dan SDK yang dapat diunduh.