Menurut peneliti AI di Meta, Voicebox, AI penghasil suara, memiliki performa dan fitur yang dapat digunakan untuk berbagai tugas pembuatan suara.

Voicebox melampaui penyintesis ucapan sebelumnya dengan memungkinkan Anda membuat klip audio berkualitas tinggi dalam berbagai gaya. Berbeda dengan versi sebelumnya, Voicebox dapat menghasilkan keluaran dari awal atau memodifikasi sampel yang ada dengan sangat presisi. Kemampuan model ini mencakup sintesis ucapan dalam enam bahasa berbeda, penghilangan noise, pengeditan konten, konversi gaya, dan pengambilan sampel beragam yang dirinci oleh Meta AI.


Menurut peneliti MIT, Voicebox adalah model tercanggih saat ini dalam zero-shot text-to-speech, baik dalam hal kejelasan (tingkat kesalahan kata 5,9 persen vs. 1,9 persen) dan kesamaan ucapan (0,580 vs. 0,681). Dikatakan 20 kali lebih cepat dari VALL-E.

Kotak Suara memiliki banyak kegunaan:

Text-to-speech dalam konteks: :Voicebox cocok dengan gaya audio dan dapat digunakan untuk menghasilkan text-to-speech berdasarkan sampel input 2 detik. Hal ini membuka kemungkinan untuk membantu orang yang tidak dapat berbicara, serta menyesuaikan suara asisten virtual dan karakter non-pemain.
Transfer gaya lintas bahasa: Dengan adanya sampel audio dan bagian teks dalam berbagai bahasa, Voicebox dapat menghasilkan teks dengan lantang dalam bahasa tersebut, mendorong komunikasi alami dan autentik melintasi batasan bahasa.
Penolakan dan Pengeditan Audio: Voicebox unggul dalam mengedit segmen dengan mulus dalam rekaman audio. Anda dapat menghilangkan suara bising singkat atau mengganti kata yang salah eja tanpa harus merekam ulang seluruh audio. Fitur ini menyederhanakan tugas pengeditan audio, serta alat pengeditan gambar umum.
Pengambilan sampel audio yang beragam: Berdasarkan pelatihan dengan berbagai data dunia nyata, Voicebox menghasilkan audio yang sangat mewakili pola ucapan dunia nyata dalam berbagai bahasa yang didukung. Data sintetis dapat dibuat untuk melatih model asisten suara secara efektif.
Bagikan penelitian Anda secara bertanggung jawab

Sambil menunjukkan potensi Voicebox untuk memajukan AI generasi ucapan, Meta AI telah memutuskan untuk tidak membuat model dan kodenya tersedia untuk umum saat ini, dengan alasan perlunya menyeimbangkan keterbukaan dan tanggung jawab. Sebaliknya, mereka membagikan sampel audio dan makalah penelitian yang merinci pendekatan dan hasil mereka, menekankan pentingnya pengembangan AI yang bertanggung jawab dan melanjutkan diskusi seputar dampaknya.