คู่มือเสียง AI
ตัวเข้ารหัส WaveGAN แบบขนาน
Parallel WaveGAN เป็นตัวแปลงเสียงแบบนิวรอลที่รวดเร็ว ซึ่งเปลี่ยนเมลสเปกโตรแกรมให้กลายเป็นรูปคลื่นเสียงดิบโดยใช้ GAN ขนาดเล็ก เพื่อสร้างตัวอย่างทั้งหมดในคราวเดียว
ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min
บนหน้านี้อ่าน 2 นาที
ภาพรวม
It matters because it gives near-real-time, high-quality speech with a compact model.
เจาะลึก
โวโคเดอร์เป็นขั้นตอนสุดท้ายของไปป์ไลน์ TTS โดยจะแปลงแผนผังคุณสมบัติเสียง (โดยปกติจะเป็นเมล-สเปกโตรแกรม) ให้เป็นคลื่นเสียงจริงที่คุณได้ยิน Parallel WaveGAN ซึ่งเสนอโดย Yamamoto, Song และ Kim ในปี 2019 ดำเนินการนี้ด้วยเครื่องกำเนิดไฟฟ้าสไตล์ WaveNet ที่ไม่ถอยอัตโนมัติ ซึ่งได้รับการฝึกฝนให้เป็นเครือข่ายปฏิปักษ์เชิงกำเนิด แทนที่จะคาดเดาตัวอย่างเสียงครั้งละหนึ่งตัวอย่างเหมือนกับ WaveNet ดั้งเดิม ระบบจะสร้างรูปคลื่นทั้งหมดแบบขนาน ทำให้เร็วขึ้นอย่างมาก สูตรหลักของมันผสมผสานการสูญเสียฝ่ายตรงข้ามเข้ากับการสูญเสียการแปลงฟูเรียร์ระยะสั้น (STFT) แบบหลายความละเอียด ดังนั้นแบบจำลองจึงจับคู่สัญญาณจริงในช่วงเวลาและความถี่ต่างๆ ผลลัพธ์ที่ได้คือตัวสร้างขนาดเล็ก (ประมาณ 1.4 ล้านพารามิเตอร์) ที่ทำงานเร็วกว่าเรียลไทม์บน GPU หลายเท่า
การใช้งานจริงในโลกแห่งความเป็นจริง
เอาต์พุตเสียงพูดแบบเรียลไทม์ในผู้ช่วยเสียงเคลื่อนที่โดยคำนึงถึงเวลาแฝงและขนาดโมเดล
ทำหน้าที่เป็นเครื่องกำเนิดรูปคลื่นที่จับคู่กับโมเดลอะคูสติก เช่น Tacotron 2 หรือ FastSpeech
การอ่านออกเสียงข้อความบนอุปกรณ์สำหรับเครื่องมือช่วยการเข้าถึงที่ไม่สามารถพึ่งพาระบบคลาวด์ได้
ระบบการแปลงเสียงที่สังเคราะห์สเปกโตรแกรมที่แปลงแล้วใหม่ให้เป็นเสียงที่เป็นธรรมชาติ
อนาคตของ Vocoder WaveGAN แบบขนาน
Parallel WaveGAN ช่วยสร้างโวโคเดอร์ GAN เป็นค่าเริ่มต้นในทางปฏิบัติ และตอนนี้การสูญเสีย STFT แบบหลายความละเอียดก็ปรากฏขึ้นในกลุ่มผู้สืบทอดเช่น HiFi-GAN และระบบสตรีมมิ่งจำนวนมาก วิถีโคจรชี้ไปที่ตัวแปลงเสียงที่มีขนาดเล็กลงและมีความหน่วงต่ำลงสำหรับผู้ช่วยในอุปกรณ์ เครื่องช่วยฟัง และการแปลงเสียงสด รวมถึงตัวแปลงเสียงแบบสากลที่พูดถึงผู้พูดที่มองไม่เห็น คาดหวังการผสานรวมที่เข้มงวดมากขึ้นกับ TTS แบบ end-to-end และการปรับใช้อย่างมีประสิทธิภาพบนมือถือและชิปแบบฝัง
การนำไปปฏิบัติ
ทำไมมันถึงสำคัญ
- เข้าถึงและเข้าถึง. ปรับปรุงการเข้าถึงผ่านการถอดเสียง คำบรรยาย และอินเทอร์เฟซเสียง
- ต้นทุนและงบประมาณ. ทีมสื่อสามารถจัดส่งเสียงที่สวยงามได้รวดเร็วยิ่งขึ้นด้วยงบประมาณที่น้อยลง
- ความเร็วและขนาด. ระบบที่ติดต่อกับลูกค้าสามารถประมวลผลการโต้ตอบด้วยเสียงในขนาดที่ใหญ่ขึ้น
ระวัง
- การใช้เสียงในทางที่ผิดและการแอบอ้างบุคคลอื่นมีความเสี่ยงเพิ่มขึ้นเมื่อขาดความยินยอม
- ความแม่นยำอาจลดลงตามสำเนียง ภาษาถิ่น หรือสภาพแวดล้อมที่มีเสียงดัง
- เสียงสังเคราะห์อาจถูกเข้าใจผิดว่าเป็นเสียงพูดที่แท้จริงโดยไม่มีการกำกับที่ชัดเจน
ขั้นตอนต่อไป
- ได้รับความยินยอมอย่างชัดแจ้งสำหรับการจับเสียง การโคลน และการใช้ซ้ำ
- ทดสอบคุณภาพกับลำโพงและสภาพพื้นหลังที่หลากหลาย
- กำหนดเวลาที่มนุษย์จะต้องตรวจสอบหรืออนุมัติผลลัพธ์
- ติดป้ายกำกับเสียงสังเคราะห์และเก็บบันทึกที่มาเพื่อความรับผิดชอบ
สำรวจต่อไป
จดหมายข่าวฟรี
รับสรุป AI รายวัน
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
Take the Parallel WaveGAN Vocoder quiz
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
คำถามที่พบบ่อย
What is Parallel WaveGAN Vocoder?
Parallel WaveGAN เป็นตัวแปลงเสียงแบบนิวรอลที่รวดเร็ว ซึ่งเปลี่ยนเมลสเปกโตรแกรมให้กลายเป็นรูปคลื่นเสียงดิบโดยใช้ GAN ขนาดเล็ก เพื่อสร้างตัวอย่างทั้งหมดในคราวเดียว สิ่งสำคัญคือให้เสียงพูดคุณภาพสูงที่เกือบจะเรียลไทม์ในรุ่นกะทัดรัด
งานของนักร้องอย่าง Parallel WaveGAN คืออะไร?
โวโคเดอร์คือขั้นตอน TTS สุดท้ายที่สังเคราะห์คลื่นเสียงจริงจากคุณสมบัติทางเสียง เช่น เมล-สเปกโตรแกรม
Parallel WaveGAN สร้างตัวอย่างเสียงอย่างไรเมื่อเปรียบเทียบกับ WaveNet ดั้งเดิม
Parallel WaveGAN ไม่ใช่การถดถอยอัตโนมัติ โดยจะสร้างรูปคลื่นทั้งหมดพร้อมกัน แทนที่จะสุ่มตัวอย่างต่อตัวอย่าง ซึ่งทำให้เร็วขึ้นมาก
การสูญเสียใดที่เป็นศูนย์กลางของ Parallel WaveGAN นอกเหนือจากการสูญเสียของฝ่ายตรงข้าม?
เป็นการรวมการสูญเสียฝ่ายตรงข้ามเข้ากับการสูญเสีย STFT หลายความละเอียดที่เปรียบเทียบขนาดของสเปกโตรแกรมในหลายระดับ
ตัวสร้าง Parallel WaveGAN ใช้สถาปัตยกรรมแบบใด
เครื่องกำเนิดไฟฟ้าเป็นเครือข่ายที่คล้ายกับ WaveNet ที่สร้างขึ้นจากการบิดแบบขยาย โดยมีเงื่อนไขบนเมลสเปกโตรแกรมและสัญญาณรบกวน
เหตุใด Parallel WaveGAN จึงน่าดึงดูดสำหรับการปรับใช้
ด้วยพารามิเตอร์ประมาณ 1.4 ล้านพารามิเตอร์ จึงมีขนาดเล็กและทำงานเร็วกว่าเรียลไทม์หลายเท่า เหมาะสำหรับการใช้งานบนอุปกรณ์
เรียนรู้ต่อไป
คำแนะนำที่เกี่ยวข้อง
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้