Captions, sebuah studio kreatif berbasis AI, mengumumkan Lipdub, sebuah aplikasi baru yang secara otomatis dapat menerjemahkan dan men-dubbing konten video ke dalam 28 bahasa. Aplikasi ini memungkinkan pengguna untuk melakukan dubbing pada video mereka sendiri, teman, dan keluarga, sehingga menawarkan pengalaman unik dalam mendengar suara familiar dalam berbagai bahasa. Lipdub sekarang tersedia untuk diunduh gratis.

Fitur inovatif Lipdub adalah tidak hanya menerjemahkan suara pembicara, tetapi juga menyinkronkan gerakan bibir pembicara dengan audio yang diterjemahkan. Hal ini memberikan pengalaman menonton yang mempertahankan konteks asli dan esensi konten. Pengguna dapat merekam atau mengunggah video, dan aplikasi akan menyesuaikan suara dan gerakan bibir pembicara dengan bahasa pilihan mereka, termasuk dialek dan pilihan kosakata tertentu seperti bahasa gaul Gen Z dan Texas.

Teknologi canggih Lipdub memanfaatkan AI generatif, memungkinkan terjemahan ucapan berkualitas tinggi dan sinkronisasi suara dan gerakan bibir yang realistis. Algoritme ini mampu mendeteksi perbedaan halus dalam dialek dan nada suara yang berbeda, menjadikannya elemen kunci dalam kemampuan Lipdub untuk menerjemahkan konten secara akurat. Untuk memastikan transparansi, semua video yang dibuat menggunakan Lipdub akan diberi label sebagai "Lipdub™ yang dihasilkan AI".

Tahun lalu, Captions meluncurkan aplikasi aslinya dan sejak itu telah memberikan lebih dari 5 juta pembuat konten, mulai dari agen real estat, podcaster, hingga pelatih online, alat untuk membuat dan menerbitkan konten tingkat studio. Captions adalah studio kreatif lengkap yang didukung AI yang menyederhanakan dan mengotomatisasi aspek-aspek utama produksi video, termasuk pembuatan teks, pengeditan, sulih suara, dan integrasi musik. Hingga saat ini, Captions telah mendapatkan pendanaan sebesar $40 juta dari investor. Lipdub saat ini tersedia untuk diunduh gratis dan diluncurkan secara bertahap untuk memastikan pengalaman pengguna yang lancar.