ต่อไปคำแนะนำต่อไป
การสร้างคำพูดที่จับคู่การไหลของกล่องเสียง
เสียงเอไอ
คู่มือเสียง AI
WaveGlow คือเครื่องแปลงเสียงแบบนิวรัลแบบโฟลว์จาก NVIDIA ที่สังเคราะห์รูปคลื่นคำพูดจากเมลสเปกโตรแกรมในการส่งผ่านครั้งเดียวโดยไม่มีการถดถอยอัตโนมัติ
ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min
มันสําคัญเพราะมันให้เสียงคุณภาพสูงได้เร็วกว่าเวลาจริงโดยใช้เพียงการสูญเสียความน่าจะเป็นอย่างง่าย
WaveGlow เปิดตัวโดย Prenger, Valle และ Catanzaro ที่ NVIDIA ในปี 2018 ผสมผสานแนวคิดจาก Glow และ WaveNet เพื่อสร้าง vocoder ที่ทั้งรวดเร็วและง่ายต่อการฝึกฝน ต่างจากโวโคเดอร์ GAN ตรงที่เป็นโฟลว์การทำให้เป็นมาตรฐาน โดยเรียนรู้การแมปแบบกลับด้านได้ระหว่างการแจกแจงแบบเกาส์เซียนอย่างง่ายและรูปคลื่นเสียง ซึ่งมีเงื่อนไขบนเมลสเปกโตรแกรม การฝึกอบรมช่วยเพิ่มโอกาสบันทึกที่แน่นอนของข้อมูลได้สูงสุด ดังนั้นจึงไม่จำเป็นต้องมีตัวแบ่งแยก ไม่มีการถดถอยอัตโนมัติ และไม่มีการกลั่นกรองครู-นักเรียนแบบสองเครือข่ายที่ต้องใช้แนวทาง WaveNet แบบขนานก่อนหน้านี้ ในการสร้างเสียง คุณจะต้องสุ่มตัวอย่างเสียงเกาส์เซียนและเรียกใช้เครือข่ายแบบย้อนกลับได้ WaveGlow สร้างเสียงพูดที่มีคุณภาพเทียบเท่ากับ WaveNet ในขณะที่สังเคราะห์ได้เร็วกว่าเรียลไทม์บน GPU สมัยใหม่มาก
จับคู่กับ Tacotron 2 ในไปป์ไลน์ TTS อ้างอิงของ NVIDIA เพื่อสร้างเสียงพูดคุณภาพระดับสตูดิโอที่เป็นธรรมชาติ
การสังเคราะห์เสียงพูดของ GPU ที่รวดเร็วสำหรับการบรรยาย การพากย์ และเวิร์กโฟลว์การสร้างเนื้อหา
การสร้างเสียงการฝึกอบรมและการสาธิตในการวิจัยที่ต้องการการฝึกอบรมแบบสูญเสียครั้งเดียวที่มีความเสถียร
เอาต์พุตเสียงแบบเรียลไทม์ในระบบโต้ตอบที่ทำงานบนฮาร์ดแวร์ NVIDIA
WaveGlow แสดงให้เห็นว่าตัวสร้างเสียงแบบ Pure Flow สามารถแข่งขันกับคุณภาพเสียงแบบ autoregressive ได้ โดยส่งผลต่อโมเดลเสียงที่ไหลลื่นและจับคู่การไหลในภายหลัง ความเรียบง่ายแบบสูญเสียครั้งเดียวยังคงน่าดึงดูด แม้ว่าโวโคเดอร์ GAN เช่น HiFi-GAN มักจะชนะในเรื่องขนาดและความเร็ว เมื่อมองไปข้างหน้า แนวคิดที่อิงตามโฟลว์และการจับคู่โฟลว์กำลังฟื้นคืนชีพขึ้นมาใน TTS แบบกระจายที่อยู่ติดกันสมัยใหม่ และการออกแบบแบบกลับด้านได้สไตล์ WaveGlow ยังคงให้ข้อมูลการวิจัยเกี่ยวกับความน่าจะเป็นที่แน่นอน ควบคุมได้ และมีประสิทธิภาพในการสร้างรูปคลื่น
จดหมายข่าวฟรี
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
WaveGlow คือเครื่องแปลงเสียงแบบนิวรัลแบบโฟลว์จาก NVIDIA ที่สังเคราะห์รูปคลื่นคำพูดจากเมลสเปกโตรแกรมในการส่งผ่านครั้งเดียวโดยไม่มีการถดถอยอัตโนมัติ สิ่งสำคัญคือให้เสียงคุณภาพสูงได้เร็วกว่าเรียลไทม์โดยสูญเสียโอกาสเพียงเล็กน้อยเท่านั้น
WaveGlow หลอมรวมโครงสร้างการไหลแบบย้อนกลับของ Glow เข้ากับการออกแบบการสร้างแบบจำลองเสียงของ WaveNet
WaveGlow คือโฟลว์การทำให้เป็นมาตรฐานที่เรียนรู้การแมปแบบย้อนกลับได้ระหว่างเสียงแบบเกาส์เซียนและเสียง
เนื่องจากเครือข่ายสามารถย้อนกลับได้ คุณจึงวาดสัญญาณรบกวนแบบเกาส์เซียนและไหลย้อนกลับ โดยมีเงื่อนไขบนเมลสเปกโตรแกรม
ในระหว่างการไหล WaveGlow จะเพิ่มความเป็นไปได้ของบันทึกที่แน่นอนสูงสุด โดยไม่ต้องมีการเลือกปฏิบัติหรือการกลั่น
ขั้นตอนการไหลแต่ละขั้นตอนจะจับคู่เลเยอร์คัปปลิ้งแบบแอฟฟินกับการบิดแบบกลับด้านได้ 1x1 ที่รับมาจาก Glow
เรียนรู้ต่อไป
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้
ต่อไปคำแนะนำต่อไป
การสร้างคำพูดที่จับคู่การไหลของกล่องเสียง
เสียงเอไอ