คู่มือเสียง AI

Vocoder ที่ใช้ WaveGlow Flow

WaveGlow คือเครื่องแปลงเสียงแบบนิวรัลแบบโฟลว์จาก NVIDIA ที่สังเคราะห์รูปคลื่นคำพูดจากเมลสเปกโตรแกรมในการส่งผ่านครั้งเดียวโดยไม่มีการถดถอยอัตโนมัติ

ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min

บนหน้านี้อ่าน 2 นาที
  1. ภาพรวม
  2. เจาะลึก
  3. การใช้งานจริงในโลกแห่งความเป็นจริง
  4. อนาคตของ Vocoder ที่ใช้ WaveGlow Flow
  5. การนำไปปฏิบัติ
  6. สำรวจต่อไป
  7. คำถามที่พบบ่อย

ภาพรวม

มันสําคัญเพราะมันให้เสียงคุณภาพสูงได้เร็วกว่าเวลาจริงโดยใช้เพียงการสูญเสียความน่าจะเป็นอย่างง่าย

เจาะลึก

WaveGlow เปิดตัวโดย Prenger, Valle และ Catanzaro ที่ NVIDIA ในปี 2018 ผสมผสานแนวคิดจาก Glow และ WaveNet เพื่อสร้าง vocoder ที่ทั้งรวดเร็วและง่ายต่อการฝึกฝน ต่างจากโวโคเดอร์ GAN ตรงที่เป็นโฟลว์การทำให้เป็นมาตรฐาน โดยเรียนรู้การแมปแบบกลับด้านได้ระหว่างการแจกแจงแบบเกาส์เซียนอย่างง่ายและรูปคลื่นเสียง ซึ่งมีเงื่อนไขบนเมลสเปกโตรแกรม การฝึกอบรมช่วยเพิ่มโอกาสบันทึกที่แน่นอนของข้อมูลได้สูงสุด ดังนั้นจึงไม่จำเป็นต้องมีตัวแบ่งแยก ไม่มีการถดถอยอัตโนมัติ และไม่มีการกลั่นกรองครู-นักเรียนแบบสองเครือข่ายที่ต้องใช้แนวทาง WaveNet แบบขนานก่อนหน้านี้ ในการสร้างเสียง คุณจะต้องสุ่มตัวอย่างเสียงเกาส์เซียนและเรียกใช้เครือข่ายแบบย้อนกลับได้ WaveGlow สร้างเสียงพูดที่มีคุณภาพเทียบเท่ากับ WaveNet ในขณะที่สังเคราะห์ได้เร็วกว่าเรียลไทม์บน GPU สมัยใหม่มาก

การใช้งานจริงในโลกแห่งความเป็นจริง

จับคู่กับ Tacotron 2 ในไปป์ไลน์ TTS อ้างอิงของ NVIDIA เพื่อสร้างเสียงพูดคุณภาพระดับสตูดิโอที่เป็นธรรมชาติ

การสังเคราะห์เสียงพูดของ GPU ที่รวดเร็วสำหรับการบรรยาย การพากย์ และเวิร์กโฟลว์การสร้างเนื้อหา

การสร้างเสียงการฝึกอบรมและการสาธิตในการวิจัยที่ต้องการการฝึกอบรมแบบสูญเสียครั้งเดียวที่มีความเสถียร

เอาต์พุตเสียงแบบเรียลไทม์ในระบบโต้ตอบที่ทำงานบนฮาร์ดแวร์ NVIDIA

อนาคตของ Vocoder ที่ใช้ WaveGlow Flow

WaveGlow แสดงให้เห็นว่าตัวสร้างเสียงแบบ Pure Flow สามารถแข่งขันกับคุณภาพเสียงแบบ autoregressive ได้ โดยส่งผลต่อโมเดลเสียงที่ไหลลื่นและจับคู่การไหลในภายหลัง ความเรียบง่ายแบบสูญเสียครั้งเดียวยังคงน่าดึงดูด แม้ว่าโวโคเดอร์ GAN เช่น HiFi-GAN มักจะชนะในเรื่องขนาดและความเร็ว เมื่อมองไปข้างหน้า แนวคิดที่อิงตามโฟลว์และการจับคู่โฟลว์กำลังฟื้นคืนชีพขึ้นมาใน TTS แบบกระจายที่อยู่ติดกันสมัยใหม่ และการออกแบบแบบกลับด้านได้สไตล์ WaveGlow ยังคงให้ข้อมูลการวิจัยเกี่ยวกับความน่าจะเป็นที่แน่นอน ควบคุมได้ และมีประสิทธิภาพในการสร้างรูปคลื่น

การนำไปปฏิบัติ

ทำไมมันถึงสำคัญ

  • เข้าถึงและเข้าถึง. ปรับปรุงการเข้าถึงผ่านการถอดเสียง คำบรรยาย และอินเทอร์เฟซเสียง
  • ต้นทุนและงบประมาณ. ทีมสื่อสามารถจัดส่งเสียงที่สวยงามได้รวดเร็วยิ่งขึ้นด้วยงบประมาณที่น้อยลง
  • ความเร็วและขนาด. ระบบที่ติดต่อกับลูกค้าสามารถประมวลผลการโต้ตอบด้วยเสียงในขนาดที่ใหญ่ขึ้น

ระวัง

  • การใช้เสียงในทางที่ผิดและการแอบอ้างบุคคลอื่นมีความเสี่ยงเพิ่มขึ้นเมื่อขาดความยินยอม
  • ความแม่นยำอาจลดลงตามสำเนียง ภาษาถิ่น หรือสภาพแวดล้อมที่มีเสียงดัง
  • เสียงสังเคราะห์อาจถูกเข้าใจผิดว่าเป็นเสียงพูดที่แท้จริงโดยไม่มีการกำกับที่ชัดเจน

ขั้นตอนต่อไป

  1. ได้รับความยินยอมอย่างชัดแจ้งสำหรับการจับเสียง การโคลน และการใช้ซ้ำ
  2. ทดสอบคุณภาพกับลำโพงและสภาพพื้นหลังที่หลากหลาย
  3. กำหนดเวลาที่มนุษย์จะต้องตรวจสอบหรืออนุมัติผลลัพธ์
  4. ติดป้ายกำกับเสียงสังเคราะห์และเก็บบันทึกที่มาเพื่อความรับผิดชอบ

สำรวจต่อไป

จดหมายข่าวฟรี

รับสรุป AI รายวัน

เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา

อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ

ทดสอบตัวเอง

Take the WaveGlow Flow-Based Vocoder quiz

ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร

เริ่มแบบทดสอบ

สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค

คำถามที่พบบ่อย

โวโคเดอร์ที่ใช้โวโคเดอร์แบบ FlowGlow คืออะไร?

WaveGlow คือเครื่องแปลงเสียงแบบนิวรัลแบบโฟลว์จาก NVIDIA ที่สังเคราะห์รูปคลื่นคำพูดจากเมลสเปกโตรแกรมในการส่งผ่านครั้งเดียวโดยไม่มีการถดถอยอัตโนมัติ สิ่งสำคัญคือให้เสียงคุณภาพสูงได้เร็วกว่าเรียลไทม์โดยสูญเสียโอกาสเพียงเล็กน้อยเท่านั้น

WaveGlow ผสมผสานแนวคิดทางสถาปัตยกรรมจาก 2 รุ่นใดบ้าง

WaveGlow หลอมรวมโครงสร้างการไหลแบบย้อนกลับของ Glow เข้ากับการออกแบบการสร้างแบบจำลองเสียงของ WaveNet

WaveGlow เป็นรุ่นอะไรคะ?

WaveGlow คือโฟลว์การทำให้เป็นมาตรฐานที่เรียนรู้การแมปแบบย้อนกลับได้ระหว่างเสียงแบบเกาส์เซียนและเสียง

WaveGlow สร้างรูปคลื่นในเวลาอนุมานได้อย่างไร

เนื่องจากเครือข่ายสามารถย้อนกลับได้ คุณจึงวาดสัญญาณรบกวนแบบเกาส์เซียนและไหลย้อนกลับ โดยมีเงื่อนไขบนเมลสเปกโตรแกรม

WaveGlow ปรับวัตถุประสงค์ใดระหว่างการฝึก?

ในระหว่างการไหล WaveGlow จะเพิ่มความเป็นไปได้ของบันทึกที่แน่นอนสูงสุด โดยไม่ต้องมีการเลือกปฏิบัติหรือการกลั่น

องค์ประกอบสองข้อใดที่ประกอบเป็นแต่ละขั้นตอนแบบย้อนกลับได้ใน WaveGlow

ขั้นตอนการไหลแต่ละขั้นตอนจะจับคู่เลเยอร์คัปปลิ้งแบบแอฟฟินกับการบิดแบบกลับด้านได้ 1x1 ที่รับมาจาก Glow

เรียนรู้ต่อไป

คำแนะนำที่เกี่ยวข้อง

คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้

รับใบรับรอง AI ฟรีหลักสูตรและการสอบสั้น ๆ ฟรี ไม่มีค่าใช้จ่าย ไม่มีบัตรเครดิต ประมาณ 2.5 ชั่วโมงเริ่มต้นฟรี →