VALL-E dan Model Bahasa Codec
VALL-E membingkai ulang text-to-speech sebagai masalah pemodelan bahasa melalui token codec audio, memungkinkan kloning suara hanya dari sampel tiga detik.
Ikhtisar
It showed that the same next-token prediction powering text LLMs can generate remarkably natural, expressive speech.
Menyelam Lebih Dalam
Diumumkan oleh Microsoft pada awal tahun 2023, VALL-E memperlakukan sintesis ucapan seperti pemodelan bahasa. Alih-alih memprediksi spektogram, ia memprediksi token akustik diskrit dari codec saraf (EnCodec), sehingga generasi menjadi prediksi token berikutnya melalui kosakata audio. Dengan adanya rekaman 3 detik dari pembicara yang tidak terlihat ditambah teks target, VALL-E melanjutkan suara pembicara tersebut, menjaga timbre dan bahkan lingkungan akustik. Ia dilatih dengan durasi bicara sekitar 60.000 jam, jauh lebih lama dibandingkan kumpulan data TTS pada umumnya, sehingga menghasilkan kloning zero-shot yang kuat. Karena token codec berlapis (melalui RVQ), VALL-E menggunakan dua tahap: model autoregresif memprediksi aliran token kasar pertama yang dikondisikan pada prompt, dan model non-autoregresif mengisi token detail yang tersisa. Resep codec-LM ini menginspirasi penerus seperti VALL-E 2 dan banyak model dasar ucapan.
Wawasan Teknis
Caranya adalah decoding hybrid melalui token codec hierarki. Tahap autoregresif memprediksi token buku kode pertama yang paling penting satu per satu, menangkap prosodi dan konten. Buku kode lainnya, yang menambahkan detail akustik halus, diprediksi secara paralel oleh model non-autoregresif yang dikondisikan pada aliran pertama dan perintah speaker. Pemisahan ini menjaga kualitas tetap tinggi sekaligus menghindari biaya pembuatan setiap token secara berurutan, dan menggunakan codec berarti ucapan dan teks dapat dimodelkan dengan mesin transformator yang sama.
Dampak Strategis
Access and reach
Ini meningkatkan aksesibilitas melalui transkripsi, narasi, dan antarmuka suara.
Cost and budget
Tim media dapat mengirimkan audio yang bagus lebih cepat dengan anggaran lebih kecil.
Kecepatan dan skala
Sistem yang berhubungan dengan pelanggan dapat memproses interaksi lisan dalam skala yang lebih besar.
Masa Depan Model Bahasa VALL-E dan Codec
Model bahasa codec menggabungkan ucapan dengan model bahasa besar, mengarah ke sistem terpadu yang mendengarkan, menalar, dan berbicara dalam satu model. Harapkan stabilitas yang lebih baik dan artefak yang lebih sedikit, generasi streaming real-time, dan kontrol yang lebih ketat terhadap emosi dan gaya. Kloning yang sama kuatnya yang menjadikan VALL-E berguna untuk aksesibilitas dan sulih suara juga menimbulkan kekhawatiran deepfake dan persetujuan, sehingga watermarking, pengamanan verifikasi suara, dan pagar kebijakan menjadi bagian penting dalam penerapan sistem ini.
Implementasi Dunia Nyata
Mengkloning suara dari audio berdurasi beberapa detik untuk asisten yang dipersonalisasi atau alat aksesibilitas yang memulihkan suara yang hilang
Melokalkan dan men-dubbing video ke bahasa lain dengan tetap menjaga warna suara pembicara aslinya
Menghasilkan narasi ekspresif dan sesuai konteks yang menjaga lingkungan akustik rekaman
Berperan sebagai tulang punggung ucapan dalam asisten multimodal yang memahami dan menghasilkan audio lisan
Risiko & Pagar Pembatas
Risiko penyalahgunaan suara dan peniruan identitas meningkat jika tidak ada persetujuan.
Akurasi dapat menurun pada aksen, dialek, atau lingkungan yang bising.
Audio sintetis dapat disalahartikan sebagai ucapan asli tanpa label yang jelas.
Peta Jalan Implementasi
Dapatkan persetujuan eksplisit untuk pengambilan suara, kloning, dan penggunaan kembali.
Uji kualitas di beragam speaker dan kondisi latar belakang.
Tentukan kapan manusia harus meninjau atau menyetujui keluaran.
Beri label pada audio sintetis dan simpan catatan asalnya untuk akuntabilitas.
Terus Menjelajah
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the VALL-E and Codec Language Models quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Kemampuan Muncul Model Bahasa Besar
Pertanyaan yang sering diajukan
What is VALL-E and Codec Language Models?
VALL-E membingkai ulang text-to-speech sebagai masalah pemodelan bahasa melalui token codec audio, memungkinkan kloning suara hanya dari sampel tiga detik. Hal ini menunjukkan bahwa prediksi token berikutnya yang mendukung LLM teks dapat menghasilkan ucapan yang sangat alami dan ekspresif.
Ide inti apa yang membedakan VALL-E dari sistem text-to-speech sebelumnya?
VALL-E membingkai ulang TTS sebagai prediksi token berikutnya melalui token codec audio terpisah, memperlakukan pembuatan ucapan seperti model bahasa.
Berapa banyak audio referensi yang dibutuhkan VALL-E untuk mengkloning suara pembicara baru?
VALL-E dapat melakukan kloning suara zero-shot dari sampel speaker yang tidak terlihat berdurasi sekitar 3 detik.
Codec saraf manakah yang digunakan VALL-E untuk menghasilkan token audionya?
VALL-E dibuat berdasarkan EnCodec Meta, yang memprediksi token akustik terpisah untuk mensintesis ucapan.
Mengapa VALL-E menggunakan tahap autoregresif dan non-autoregresif?
Token codec bersifat hierarkis melalui RVQ; VALL-E memprediksi aliran kasar pertama secara otomatis dan token detail lainnya secara paralel untuk efisiensi.
Kira-kira berapa banyak data ucapan yang dilatih oleh VALL-E, sehingga memungkinkan kloning zero-shot yang kuat?
VALL-E dilatih dengan durasi bicara sekitar 60.000 jam, jauh lebih lama dibandingkan kumpulan data TTS pada umumnya, sehingga meningkatkan generalisasi zero-shot.