ต่อไปคำแนะนำต่อไป
การสังเคราะห์แบบถดถอยอัตโนมัติของเต่า TTS
เสียงเอไอ
คู่มือเสียง AI
FastSpeech สร้างสเปกตรัมคำพูดทั้งหมดพร้อมกันแทนที่จะเป็นทีละเฟรม ทำให้การสังเคราะห์เร็วขึ้นและมีเสถียรภาพมากขึ้นอย่างมาก
ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min
ช่วยแก้ปัญหารุ่นที่ช้าและเกิดข้อผิดพลาดได้ง่ายซึ่งรบกวนโมเดล autoregressive รุ่นก่อน ๆ เช่น Tacotron
โมเดล TTS ประสาทรุ่นก่อนๆ เช่น Tacotron 2 เป็นแบบถดถอยอัตโนมัติ โดยคาดการณ์แต่ละเฟรมเสียงที่ถูกกำหนดเงื่อนไขจากเฟรมก่อนหน้า ซึ่งจะช้าและมีแนวโน้มที่จะข้ามหรือพูดคำซ้ำเมื่อความสนใจผิดพลาด FastSpeech เปิดตัวโดย Microsoft และมหาวิทยาลัยเจ้อเจียงในปี 2019 พลิกสถานการณ์นี้ด้วยการทำนายเฟรมทั้งหมดในคราวเดียว เครือข่ายฟีดฟอร์เวิร์ดที่ใช้ Transformer ใช้หน่วยเสียง โดยคาดการณ์อย่างชัดเจนว่าแต่ละหน่วยเสียงควรมีอายุการใช้งานนานเท่าใดด้วยตัวควบคุมความยาว และขยายลำดับเป็นจำนวนเฟรมที่ถูกต้องก่อนที่จะสร้างสเปกโตรแกรมในรอบเดียว FastSpeech 2 ปรับปรุงเรื่องนี้โดยการคาดเดาระดับเสียงและพลังงานด้วย และโดยการฝึกฝนเป้าหมายที่มีระยะเวลาจากการบังคับการจัดตำแหน่ง แทนที่จะกลั่นจากแบบจำลองครูที่ช้า ทำให้ได้เสียงพูดที่เป็นธรรมชาติและควบคุมได้มากขึ้น
แอพนำทางแบบเรียลไทม์สร้างเสียงเตือนแบบเลี้ยวต่อเลี้ยวทันทีโดยใช้การสังเคราะห์สไตล์ FastSpeech แบบขนาน
ระบบ IVR บริการลูกค้าแปลงข้อความแบบไดนามิกเป็นคำพูดในขนาดโดยไม่มีข้อผิดพลาดในการข้ามคำ
โปรแกรมอ่านหน้าจอการเข้าถึงจะสร้างเสียงพูดที่รวดเร็วและเชื่อถือได้สำหรับเอกสารขนาดยาวบนฮาร์ดแวร์ขนาดเล็ก
เครื่องมือเนื้อหาเสียงช่วยให้ผู้สร้างปรับแต่งระดับเสียงและอัตราการพูดได้โดยตรง ต้องขอบคุณตัวทำนายระดับเสียงและพลังงานที่ชัดเจนของ FastSpeech 2
ขณะนี้การสังเคราะห์แบบไม่ถอยอัตโนมัติเป็นค่าเริ่มต้นสำหรับ TTS ที่ใช้งานจริง เนื่องจากมีความรวดเร็ว แข็งแกร่ง และควบคุมได้ ระบบในอนาคตผลักดันไปสู่การควบคุมฉันทลักษณ์ที่ละเอียดยิ่งขึ้น การสตรีมที่มีเวลาแฝงต่ำลงสำหรับแอปพลิเคชันถ่ายทอดสด และรูปแบบตั้งแต่ต้นทางถึงปลายทางที่ข้ามสเปกโตรแกรมระดับกลางไปโดยสิ้นเชิง โมเดลที่ไม่ใช่การถดถอยอัตโนมัติตามการแพร่กระจายและการไหลกำลังเพิ่มขึ้นเช่นกัน โดยผสมผสานความคล้ายคลึงกันของ FastSpeech เข้ากับคุณภาพการสร้างที่แข็งแกร่ง ในขณะที่การควบคุมระดับเสียงและระยะเวลาที่ชัดเจนยังคงมีคุณค่าสำหรับผลิตภัณฑ์เสียงที่สามารถแก้ไขได้และแสดงออก
จดหมายข่าวฟรี
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
FastSpeech สร้างสเปกตรัมคำพูดทั้งหมดพร้อมกันแทนที่จะเป็นทีละเฟรม ทำให้การสังเคราะห์เร็วขึ้นและมีเสถียรภาพมากขึ้นอย่างมาก ช่วยแก้ปัญหารุ่นที่ช้าและเกิดข้อผิดพลาดได้ง่ายซึ่งรบกวนโมเดล autoregressive รุ่นก่อน ๆ เช่น Tacotron
การไม่ถดถอยอัตโนมัติหมายความว่าเฟรมถูกสร้างขึ้นแบบคู่ขนานในการส่งผ่านครั้งเดียว โดยไม่มีการปรับเงื่อนไขทีละรายการในเฟรมก่อนหน้า
ความสนใจแบบถดถอยอัตโนมัติอาจจัดแนวไม่ตรง ทำให้เกิดคำข้ามหรือซ้ำ และการถอดรหัสตามลำดับช้า FastSpeech แก้ไขทั้งสองอย่าง
ตัวควบคุมความยาวจะขยายคุณลักษณะหน่วยเสียงตามระยะเวลาที่คาดการณ์ไว้ โดยจัดลำดับข้อความที่สั้นกว่าให้สอดคล้องกับสเปกโตรแกรมที่ยาวกว่า
FastSpeech 2 uses duration, pitch, and energy information as conditional inputs to better model speech variation.
เนื่องจากการสร้างเป็นแบบขนาน การเพิ่มเฟรมมากขึ้นจึงไม่คูณขั้นตอนตามลำดับเหมือนกับการถอดรหัสอัตโนมัติ
เรียนรู้ต่อไป
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้
ต่อไปคำแนะนำต่อไป
การสังเคราะห์แบบถดถอยอัตโนมัติของเต่า TTS
เสียงเอไอ