VALL-E dan Model Bahasa Codec
VALL-E membingkai semula teks ke pertuturan sebagai masalah pemodelan bahasa ke atas token codec audio, membolehkan pengklonan suara daripada hanya tiga saat sampel.
Gambaran keseluruhan
It showed that the same next-token prediction powering text LLMs can generate remarkably natural, expressive speech.
Menyelam dalam
Diumumkan oleh Microsoft pada awal tahun 2023, VALL-E merawat sintesis pertuturan seperti pemodelan bahasa. Daripada meramalkan spektrogram, ia meramalkan token akustik diskret codec saraf (EnCodec), jadi penjanaan menjadi ramalan token seterusnya ke atas perbendaharaan kata audio. Memandangkan rakaman 3 saat pembesar suara yang tidak kelihatan serta teks sasaran, VALL-E meneruskan dalam suara pembesar suara itu, mengekalkan timbre dan juga persekitaran akustik. Ia dilatih pada kira-kira 60,000 jam pertuturan, jauh lebih banyak daripada set data TTS biasa, yang memberikannya pengklonan sifar pukulan yang kuat. Oleh kerana token codec berlapis (melalui RVQ), VALL-E menggunakan dua peringkat: model autoregresif meramalkan aliran token kasar yang pertama dikondisikan pada gesaan dan model bukan autoregresif mengisi token butiran yang tinggal. Resipi codec-LM ini memberi inspirasi kepada pengganti seperti VALL-E 2 dan banyak model asas pertuturan.
Wawasan Teknikal
Caranya ialah penyahkodan hibrid ke atas token codec hierarki. Peringkat autoregresif meramalkan token buku kod pertama yang paling penting satu demi satu, menangkap prosodi dan kandungan. Buku kod selebihnya, yang menambah perincian akustik yang halus, diramalkan secara selari oleh model bukan autoregresif yang dikondisikan pada strim pertama dan gesaan pembesar suara. Pemisahan ini mengekalkan kualiti yang tinggi sambil mengelakkan kos menjana setiap token secara berurutan, dan menggunakan codec bermakna pertuturan dan teks boleh dimodelkan dengan jentera pengubah yang sama.
Kesan Strategik
Akses dan capai
Ia meningkatkan kebolehcapaian melalui transkripsi, narasi dan antara muka suara.
Kos dan bajet
Pasukan media boleh menghantar audio yang digilap dengan lebih pantas dengan belanjawan yang lebih kecil.
Kelajuan dan skala
Sistem yang menghadapi pelanggan boleh memproses interaksi pertuturan pada skala yang lebih besar.
Masa Depan VALL-E dan Model Bahasa Codec
Model bahasa codec menggabungkan pertuturan dengan model bahasa yang besar, menunjuk ke arah sistem bersatu yang mendengar, menaakul dan bercakap dalam satu model. Jangkakan kestabilan yang lebih baik dan lebih sedikit artifak, penjanaan penstriman masa nyata dan kawalan yang lebih ketat ke atas emosi dan gaya. Pengklonan berkuasa yang sama yang menjadikan VALL-E berguna untuk kebolehaksesan dan alih suara juga menimbulkan kebimbangan pemalsuan dan persetujuan yang mendalam, jadi penanda air, perlindungan pengesahan suara dan pagar pengadang dasar menjadi bahagian penting dalam cara sistem ini digunakan.
Pelaksanaan Dunia Sebenar
Mengklon suara daripada beberapa saat audio untuk pembantu diperibadikan atau alatan kebolehaksesan yang memulihkan suara yang hilang
Menyetempatkan dan mengalih suara video ke dalam bahasa lain sambil mengekalkan timbre pembesar suara asal
Menjana penceritaan yang ekspresif dan padanan konteks yang mengekalkan persekitaran akustik rakaman
Berkhidmat sebagai tulang belakang pertuturan dalam pembantu multimodal yang memahami dan menghasilkan audio pertuturan
Risiko & Pengawal
Penyalahgunaan suara dan risiko penyamaran meningkat apabila tiada kebenaran.
Ketepatan boleh menurun merentas aksen, dialek atau persekitaran yang bising.
Audio sintetik boleh disalah anggap sebagai pertuturan tulen tanpa pelabelan yang jelas.
Hala Tuju Pelaksanaan
Dapatkan persetujuan yang jelas untuk menangkap suara, pengklonan dan penggunaan semula.
Uji kualiti merentas pelbagai pembesar suara dan keadaan latar belakang.
Tentukan bila manusia mesti menyemak atau meluluskan output.
Labelkan audio sintetik dan simpan rekod asal untuk kebertanggungjawaban.
Teruskan Meneroka
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the VALL-E and Codec Language Models quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Panduan seterusnya
Keupayaan Muncul Model Bahasa Besar
Soalan lazim
What is VALL-E and Codec Language Models?
VALL-E membingkai semula teks ke pertuturan sebagai masalah pemodelan bahasa ke atas token codec audio, membolehkan pengklonan suara daripada hanya tiga saat sampel. Ia menunjukkan bahawa LLM teks penjanaan ramalan token seterusnya yang sama boleh menghasilkan pertuturan ekspresif yang luar biasa semula jadi.
Apakah idea teras yang membezakan VALL-E daripada sistem teks ke pertuturan yang lebih awal?
VALL-E membingkai semula TTS sebagai ramalan token seterusnya ke atas token codec audio diskret, menganggap penjanaan pertuturan seperti model bahasa.
Berapa banyak audio rujukan yang diperlukan oleh VALL-E untuk mengklonkan suara pembesar suara baharu?
VALL-E boleh melakukan pengklonan suara tangkapan sifar daripada sampel kira-kira 3 saat pembesar suara yang tidak kelihatan.
Codec saraf manakah yang VALL-E gunakan untuk menghasilkan token audionya?
VALL-E membina pada EnCodec Meta, meramalkan token akustik diskretnya untuk mensintesis pertuturan.
Mengapakah VALL-E menggunakan kedua-dua peringkat autoregresif dan bukan autoregresif?
Token codec adalah hierarki melalui RVQ; VALL-E meramalkan aliran kasar pertama secara autoregresif dan token perincian yang selebihnya selari untuk kecekapan.
Secara kasar berapa banyak data pertuturan yang dilatih oleh VALL-E, yang membolehkan pengklonan sifar pukulan yang kuat?
VALL-E telah dilatih mengenai kira-kira 60,000 jam pertuturan, jauh lebih banyak daripada set data TTS biasa, yang meningkatkan generalisasi sifar pukulan.