NVIDIA mengumumkan penyempurnaan pada platform NeMo yang mendukung pengembangan model AI generatif multimodal. Platform ini sekarang mendukung alur komprehensif yang menyederhanakan kurasi data visual berkualitas tinggi, mempercepat pelatihan dan penyesuaian, serta meningkatkan rekonstruksi visual selama inferensi. Perkembangan ini akan memungkinkan terciptanya model AI yang lebih akurat dan efisien, sehingga bermanfaat bagi berbagai industri.

Komponen NeMo Curator pada platform ini dirancang untuk menyederhanakan proses kurasi data, sehingga secara signifikan mengurangi waktu dan biaya yang terkait dengan pembuatan model AI generatif multimodal. Ini menyediakan jalur orkestrasi yang dapat memproses data berukuran petabyte pada beberapa GPU, mengurangi waktu pemrosesan video hingga 7x dibandingkan dengan implementasi GPU standar. Kurator juga menyediakan model referensi untuk kurasi video yang dioptimalkan untuk tugas-tugas seperti pemfilteran dan pembuatan teks dengan throughput tinggi.

Selain kurasi data, NVIDIA memperkenalkan Cosmos tokenizer, model terbuka yang menyediakan tokenisasi visual tingkat lanjut. Tokenizer ini dirancang untuk memetakan data visual menjadi token semantik yang ringkas, sehingga memfasilitasi pelatihan model generatif skala besar yang efisien. Mereka mendukung berbagai bahasa visual dan model difusi, serta mengakomodasi rasio aspek dan resolusi yang berbeda untuk mengelola gambar dan video resolusi tinggi.

Arsitektur tokenizer Cosmos menampilkan struktur encoder/decoder yang canggih dengan blok konvolusi kausal 3D dan perhatian temporal kausal, memastikan pemrosesan informasi spatiotemporal yang efisien. Struktur ini memungkinkan model untuk fokus pada fitur-fitur yang bermakna, meningkatkan efisiensi pembelajaran, dan membuat gambar dan video dengan fidelitas tinggi dari token yang sangat terkompresi. Selama inferensi, tokenizer Cosmos dapat mencapai kecepatan rekonstruksi hingga 12x lebih cepat dibandingkan tokenizer openweight terkemuka dengan tetap mempertahankan keluaran visual berkualitas tinggi.

Penyempurnaan pada platform NeMo NVIDIA, termasuk NeMo Curator dan Cosmos tokenizer, memungkinkan pengembang membangun model AI generatif multimodal yang canggih. Dengan meningkatkan efisiensi dan kualitas pengembangan model AI video, alat-alat ini diharapkan dapat memfasilitasi pembuatan model AI yang lebih akurat di berbagai sektor, mulai dari robotika, otomotif, hingga ritel.