ต่อไปคำแนะนำต่อไป
Shallow Fusion With Language Models in ASR
เสียงเอไอ
คู่มือเสียง AI
VALL-E เป็นระบบวิจัยการสังเคราะห์เสียงจากข้อความแบบศูนย์ช็อตที่ทำนายโทเค็นเสียง EnCodec จากข้อความโฟนีมและพรอมต์เสียงสั้น
ฟังคำแนะนำนี้บรรยายโดย AI · ~1 min
Its claims are limited to the model and evaluations described in the original paper.
The VALL-E paper frames text-to-speech as conditional language modeling over EnCodec codes. It conditions on phoneme sequences and acoustic prompt codes from a short, approximately three-second recording. The model predicts coarse tokens autoregressively and fine tokens non-autoregressively, then decodes the codes to audio. The authors train on 60,000 hours of English speech and report zero-shot results in their described evaluation, including preservation of speaker characteristics and acoustic environment. Those findings do not establish general performance for other languages, speakers, tasks or deployments.
Checking the paper’s approximately three-second speaker prompt setup.
Tracing the text-to-code model and its phoneme input.
Understanding the coarse autoregressive and fine non-autoregressive code prediction stages.
Reviewing the paper’s 60,000-hour LibriLight training data and reported zero-shot evaluations.
Further evaluations should test speaker and language coverage, content preservation and robustness on independently sampled data. The original paper does not establish streaming deployment, clinical voice restoration, dubbing policy or watermarking effectiveness.
จดหมายข่าวฟรี
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
VALL-E is a zero-shot text-to-speech research system that predicts EnCodec audio tokens from phoneme text and a short acoustic prompt. Its claims are limited to the model and evaluations described in the original paper.
VALL-E ปรับกรอบ TTS ใหม่เป็นการทำนายโทเค็นถัดไปเหนือโทเค็นตัวแปลงสัญญาณเสียงแบบแยก โดยถือว่าการสร้างคำพูดเหมือนกับแบบจำลองภาษา
VALL-E สามารถทำการโคลนเสียงแบบ Zero-shot จากตัวอย่างลำโพงที่มองไม่เห็นความยาวประมาณ 3 วินาที
VALL-E สร้างจาก EnCodec ของ Meta โดยคาดการณ์โทเค็นเสียงที่แยกจากกันเพื่อสังเคราะห์คำพูด
โทเค็น Codec มีลำดับชั้นผ่าน RVQ VALL-E คาดการณ์สตรีมหยาบแรกแบบถดถอยอัตโนมัติและโทเค็นรายละเอียดที่เหลือขนานกันเพื่อประสิทธิภาพ
VALL-E ได้รับการฝึกฝนเกี่ยวกับคำพูดประมาณ 60,000 ชั่วโมง ซึ่งมากกว่าชุดข้อมูล TTS ทั่วไปมาก ซึ่งช่วยเพิ่มลักษณะทั่วไปแบบ Zero-Shot
เรียนรู้ต่อไป
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้
ต่อไปคำแนะนำต่อไป
Shallow Fusion With Language Models in ASR
เสียงเอไอ