TTS NaturalSpeech dan Difusi Laten
NaturalSpeech adalah rangkaian penelitian Microsoft TTS yang bertujuan untuk mendapatkan kualitas ucapan tingkat manusia, dengan versi yang lebih baru menggunakan difusi laten untuk menghasilkan suara yang kaya dan alami.
Ikhtisar
It shows how diffusion models, famous for images, can produce expressive, controllable audio.
Menyelam Lebih Dalam
NaturalSpeech asli (2022) adalah sistem pertama yang dilaporkan mencapai kualitas tingkat manusia pada tolok ukur LJSpeech, dinilai oleh pendengar yang tidak dapat membedakannya dari rekaman sebenarnya. Ini menggunakan autoencoder variasional dengan prior yang dicocokkan dengan cermat untuk menutup kesenjangan antara pelatihan dan inferensi. NaturalSpeech 2 kemudian mengadopsi pendekatan difusi laten: ucapan dikodekan oleh codec audio saraf menjadi vektor laten berkelanjutan, dan model difusi belajar menghasilkan laten tersebut dari teks, sehingga memungkinkan kloning suara zero-shot yang kuat dari perintah singkat. NaturalSpeech 3 memperkenalkan difusi terfaktor, memisahkan ucapan menjadi atribut-atribut yang terurai seperti konten, prosodi, timbre, dan detail akustik, sehingga masing-masing dapat dimodelkan dan dikontrol secara independen untuk fidelitas dan fleksibilitas yang lebih tinggi.
Wawasan Teknis
Difusi laten bekerja dengan menambahkan derau ke representasi ucapan laten yang ringkas dan melatih jaringan untuk membalikkan derau tersebut selangkah demi selangkah. Daripada menolak bentuk gelombang mentah atau spektogram penuh, NaturalSpeech 2 menolak codec laten, yang berdimensi lebih rendah dan lebih mudah untuk dimodelkan. Pengkondisian pada teks dan perintah suara referensi mengarahkan difusi sebaliknya, sehingga sampel laten akhir dikodekan menjadi ucapan yang cocok dengan konten yang diminta dan identitas pembicara.
Dampak Strategis
Access and reach
Ini meningkatkan aksesibilitas melalui transkripsi, narasi, dan antarmuka suara.
Cost and budget
Tim media dapat mengirimkan audio yang bagus lebih cepat dengan anggaran lebih kecil.
Kecepatan dan skala
Sistem yang berhubungan dengan pelanggan dapat memproses interaksi lisan dalam skala yang lebih besar.
Masa Depan TTS NaturalSpeech dan Difusi Laten
TTS berbasis difusi dan faktorisasi mengarah pada suara yang tidak hanya alami namun juga dapat dikontrol dengan baik, memungkinkan pengguna menyesuaikan timbre, emosi, dan prosodi sebagai panggilan independen. Harapkan pengambilan sampel yang lebih cepat melalui distilasi dan difusi beberapa langkah, kloning zero-shot yang lebih kuat dari beberapa detik audio, dan integrasi yang lebih erat dengan model bahasa besar untuk penyampaian yang peka konteks. Kemajuan ini juga meningkatkan kebutuhan akan watermarking dan perlindungan izin, karena kloning dengan ketelitian tinggi jelas menimbulkan risiko penyalahgunaan.
Implementasi Dunia Nyata
Studio sulih suara mengkloning suara aktor dari sampel pendek untuk melokalisasi film, menggunakan kloning zero-shot gaya NaturalSpeech 2.
Platform buku audio menghasilkan narasi tingkat manusia yang sulit dibedakan oleh pendengar dari pengisi suara asli.
Alat aksesibilitas membuat ulang suara seseorang dari rekaman lama untuk mereka yang kehilangan kemampuan berbicara.
Rangkaian pembuatan konten memungkinkan editor menyesuaikan timbre dan prosodi secara mandiri, memanfaatkan atribut faktor NaturalSpeech 3.
Risiko & Pagar Pembatas
Risiko penyalahgunaan suara dan peniruan identitas meningkat jika tidak ada persetujuan.
Akurasi dapat menurun pada aksen, dialek, atau lingkungan yang bising.
Audio sintetis dapat disalahartikan sebagai ucapan asli tanpa label yang jelas.
Peta Jalan Implementasi
Dapatkan persetujuan eksplisit untuk pengambilan suara, kloning, dan penggunaan kembali.
Uji kualitas di beragam speaker dan kondisi latar belakang.
Tentukan kapan manusia harus meninjau atau menyetujui keluaran.
Beri label pada audio sintetis dan simpan catatan asalnya untuk akuntabilitas.
Terus Menjelajah
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the NaturalSpeech and Latent Diffusion TTS quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Difusi Laten Audio Stabil
Pertanyaan yang sering diajukan
What is NaturalSpeech and Latent Diffusion TTS?
NaturalSpeech adalah rangkaian penelitian Microsoft TTS yang bertujuan untuk mendapatkan kualitas ucapan tingkat manusia, dengan versi yang lebih baru menggunakan difusi laten untuk menghasilkan suara yang kaya dan alami. Ini menunjukkan bagaimana model difusi, yang terkenal dengan gambar, dapat menghasilkan audio yang ekspresif dan terkendali.
Pencapaian apa yang ingin dicapai oleh NaturalSpeech (2022) asli?
NaturalSpeech dilaporkan sebagai sistem pertama yang mencapai kualitas tingkat manusia di LJSpeech, karena pendengar tidak dapat membedakannya dengan ucapan sebenarnya.
Apa yang sebenarnya dihasilkan oleh model difusi laten NaturalSpeech 2?
NaturalSpeech 2 berdifusi melalui codec laten, yang kompak dan lebih mudah dimodelkan dibandingkan bentuk gelombang mentah, lalu menerjemahkannya menjadi audio.
Bagaimana model difusi menghasilkan data pada tingkat tinggi?
Difusi menambah kebisingan selama pelatihan dan belajar membalikkannya, menghasilkan sampel dengan secara progresif menghilangkan kebisingan dari kebisingan acak.
Kemampuan utama apa yang diberikan oleh difusi laten pada NaturalSpeech 2?
Dengan mengkondisikan perintah suara singkat, NaturalSpeech 2 dapat mengkloning suara pembicara yang belum pernah dilatih secara eksplisit.
Apa gagasan utama 'difusi terfaktor' NaturalSpeech 3?
Difusi terfaktor menguraikan konten, prosodi, timbre, dan detail akustik sehingga setiap atribut dapat dimodelkan dan dikontrol secara terpisah.