Azure AI telah merilis pratinjau publik dari fitur barunya, avatar text-to-speech. Alat inovatif ini memungkinkan pengguna membuat video avatar berbicara menggunakan input teks atau mengembangkan bot interaktif real-time menggunakan gambar manusia. Sistem avatar text-to-speech adalah text-to-speech dengan kemampuan vision yang memungkinkan pelanggan membuat video sintetis dengan avatar berbicara fotorealistik 2D. Model avatar dilatih oleh jaringan saraf dalam berdasarkan sampel rekaman video manusia, dan suara avatar disediakan oleh model ucapan text-to-speech.

Membuat avatar memiliki dua tujuan utama. Pertama, produksi konten video konvensional memerlukan banyak waktu dan anggaran, termasuk mempersiapkan lingkungan pengambilan video, pengambilan gambar, dan pengeditan video. Avatar text-to-speech memungkinkan pengguna membuat konten video dengan lebih efisien seperti video pelatihan, pengenalan produk, dan testimoni pelanggan hanya dengan memasukkan teks. Kedua, dengan dirilisnya Layanan Azure OpenAI dan neural text to Speech, percakapan interaktif kini menjadi lebih alami dibandingkan sebelumnya. Avatar teks ke ucapan memungkinkan pengguna menciptakan interaksi digital yang lebih menarik dan membangun agen percakapan, asisten virtual, chatbot, dan banyak lagi.

Alur kerja pembuatan konten avatar terdiri dari tiga komponen: penganalisis teks, penyintesis audio TTS, dan penyintesis video avatar TTS. Untuk menghasilkan video avatar, teks terlebih dahulu dimasukkan ke dalam penganalisis teks, yang menghasilkan keluaran berupa urutan fonem. Selanjutnya, penyintesis audio TTS memprediksi fitur akustik teks masukan dan mensintesis audio. Kedua bagian ini disediakan oleh model ucapan text-to-speech. Selanjutnya, model Avatar teks ke ucapan Neural menggunakan fitur akustik untuk memprediksi gambar sinkronisasi bibir dan menghasilkan video sintetis.

Azure AI saat ini menawarkan dua kemampuan avatar text-to-speech yang terpisah: avatar text-to-speech yang sudah dibuat sebelumnya dan avatar text-to-speech kustom. Avatar yang dibuat sebelumnya dapat berbicara dalam berbagai bahasa dan suara berdasarkan masukan teks. Pelanggan dapat memilih avatar dari berbagai pilihan dan menggunakannya untuk membuat konten video dan aplikasi interaktif dengan respons avatar waktu nyata. Fitur avatar teks ke ucapan khusus memungkinkan pelanggan membuat avatar yang dipersonalisasi untuk produk atau merek mereka. Pelanggan dapat mengunggah rekaman video bakat avatar mereka sendiri, yang menurut perusahaan akan digunakan untuk melatih video sintetis dari avatar khusus yang berbicara. saus: