คู่มือเสียง AI

FastSpeech และ TTS แบบไม่ถอยหลังอัตโนมัติ

FastSpeech สร้างสเปกตรัมคำพูดทั้งหมดพร้อมกันแทนที่จะเป็นทีละเฟรม ทำให้การสังเคราะห์เร็วขึ้นและมีเสถียรภาพมากขึ้นอย่างมาก

ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min

บนหน้านี้อ่าน 2 นาที
  1. ภาพรวม
  2. เจาะลึก
  3. การใช้งานจริงในโลกแห่งความเป็นจริง
  4. อนาคตของ FastSpeech และ TTS แบบไม่ถอยอัตโนมัติ
  5. การนำไปปฏิบัติ
  6. สำรวจต่อไป
  7. คำถามที่พบบ่อย

ภาพรวม

ช่วยแก้ปัญหารุ่นที่ช้าและเกิดข้อผิดพลาดได้ง่ายซึ่งรบกวนโมเดล autoregressive รุ่นก่อน ๆ เช่น Tacotron

เจาะลึก

โมเดล TTS ประสาทรุ่นก่อนๆ เช่น Tacotron 2 เป็นแบบถดถอยอัตโนมัติ โดยคาดการณ์แต่ละเฟรมเสียงที่ถูกกำหนดเงื่อนไขจากเฟรมก่อนหน้า ซึ่งจะช้าและมีแนวโน้มที่จะข้ามหรือพูดคำซ้ำเมื่อความสนใจผิดพลาด FastSpeech เปิดตัวโดย Microsoft และมหาวิทยาลัยเจ้อเจียงในปี 2019 พลิกสถานการณ์นี้ด้วยการทำนายเฟรมทั้งหมดในคราวเดียว เครือข่ายฟีดฟอร์เวิร์ดที่ใช้ Transformer ใช้หน่วยเสียง โดยคาดการณ์อย่างชัดเจนว่าแต่ละหน่วยเสียงควรมีอายุการใช้งานนานเท่าใดด้วยตัวควบคุมความยาว และขยายลำดับเป็นจำนวนเฟรมที่ถูกต้องก่อนที่จะสร้างสเปกโตรแกรมในรอบเดียว FastSpeech 2 ปรับปรุงเรื่องนี้โดยการคาดเดาระดับเสียงและพลังงานด้วย และโดยการฝึกฝนเป้าหมายที่มีระยะเวลาจากการบังคับการจัดตำแหน่ง แทนที่จะกลั่นจากแบบจำลองครูที่ช้า ทำให้ได้เสียงพูดที่เป็นธรรมชาติและควบคุมได้มากขึ้น

การใช้งานจริงในโลกแห่งความเป็นจริง

แอพนำทางแบบเรียลไทม์สร้างเสียงเตือนแบบเลี้ยวต่อเลี้ยวทันทีโดยใช้การสังเคราะห์สไตล์ FastSpeech แบบขนาน

ระบบ IVR บริการลูกค้าแปลงข้อความแบบไดนามิกเป็นคำพูดในขนาดโดยไม่มีข้อผิดพลาดในการข้ามคำ

โปรแกรมอ่านหน้าจอการเข้าถึงจะสร้างเสียงพูดที่รวดเร็วและเชื่อถือได้สำหรับเอกสารขนาดยาวบนฮาร์ดแวร์ขนาดเล็ก

เครื่องมือเนื้อหาเสียงช่วยให้ผู้สร้างปรับแต่งระดับเสียงและอัตราการพูดได้โดยตรง ต้องขอบคุณตัวทำนายระดับเสียงและพลังงานที่ชัดเจนของ FastSpeech 2

อนาคตของ FastSpeech และ TTS แบบไม่ถอยอัตโนมัติ

ขณะนี้การสังเคราะห์แบบไม่ถอยอัตโนมัติเป็นค่าเริ่มต้นสำหรับ TTS ที่ใช้งานจริง เนื่องจากมีความรวดเร็ว แข็งแกร่ง และควบคุมได้ ระบบในอนาคตผลักดันไปสู่การควบคุมฉันทลักษณ์ที่ละเอียดยิ่งขึ้น การสตรีมที่มีเวลาแฝงต่ำลงสำหรับแอปพลิเคชันถ่ายทอดสด และรูปแบบตั้งแต่ต้นทางถึงปลายทางที่ข้ามสเปกโตรแกรมระดับกลางไปโดยสิ้นเชิง โมเดลที่ไม่ใช่การถดถอยอัตโนมัติตามการแพร่กระจายและการไหลกำลังเพิ่มขึ้นเช่นกัน โดยผสมผสานความคล้ายคลึงกันของ FastSpeech เข้ากับคุณภาพการสร้างที่แข็งแกร่ง ในขณะที่การควบคุมระดับเสียงและระยะเวลาที่ชัดเจนยังคงมีคุณค่าสำหรับผลิตภัณฑ์เสียงที่สามารถแก้ไขได้และแสดงออก

การนำไปปฏิบัติ

ทำไมมันถึงสำคัญ

  • เข้าถึงและเข้าถึง. ปรับปรุงการเข้าถึงผ่านการถอดเสียง คำบรรยาย และอินเทอร์เฟซเสียง
  • ต้นทุนและงบประมาณ. ทีมสื่อสามารถจัดส่งเสียงที่สวยงามได้รวดเร็วยิ่งขึ้นด้วยงบประมาณที่น้อยลง
  • ความเร็วและขนาด. ระบบที่ติดต่อกับลูกค้าสามารถประมวลผลการโต้ตอบด้วยเสียงในขนาดที่ใหญ่ขึ้น

ระวัง

  • การใช้เสียงในทางที่ผิดและการแอบอ้างบุคคลอื่นมีความเสี่ยงเพิ่มขึ้นเมื่อขาดความยินยอม
  • ความแม่นยำอาจลดลงตามสำเนียง ภาษาถิ่น หรือสภาพแวดล้อมที่มีเสียงดัง
  • เสียงสังเคราะห์อาจถูกเข้าใจผิดว่าเป็นเสียงพูดที่แท้จริงโดยไม่มีการกำกับที่ชัดเจน

ขั้นตอนต่อไป

  1. ได้รับความยินยอมอย่างชัดแจ้งสำหรับการจับเสียง การโคลน และการใช้ซ้ำ
  2. ทดสอบคุณภาพกับลำโพงและสภาพพื้นหลังที่หลากหลาย
  3. กำหนดเวลาที่มนุษย์จะต้องตรวจสอบหรืออนุมัติผลลัพธ์
  4. ติดป้ายกำกับเสียงสังเคราะห์และเก็บบันทึกที่มาเพื่อความรับผิดชอบ

สำรวจต่อไป

จดหมายข่าวฟรี

รับสรุป AI รายวัน

เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา

อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ

ทดสอบตัวเอง

Take the FastSpeech and Non-Autoregressive TTS quiz

ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร

เริ่มแบบทดสอบ

สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค

คำถามที่พบบ่อย

FastSpeech และ TTS แบบไม่ถอยอัตโนมัติคืออะไร

FastSpeech สร้างสเปกตรัมคำพูดทั้งหมดพร้อมกันแทนที่จะเป็นทีละเฟรม ทำให้การสังเคราะห์เร็วขึ้นและมีเสถียรภาพมากขึ้นอย่างมาก ช่วยแก้ปัญหารุ่นที่ช้าและเกิดข้อผิดพลาดได้ง่ายซึ่งรบกวนโมเดล autoregressive รุ่นก่อน ๆ เช่น Tacotron

'ไม่ถอยหลังอัตโนมัติ' หมายถึงอะไรในบริบทของ FastSpeech

การไม่ถดถอยอัตโนมัติหมายความว่าเฟรมถูกสร้างขึ้นแบบคู่ขนานในการส่งผ่านครั้งเดียว โดยไม่มีการปรับเงื่อนไขทีละรายการในเฟรมก่อนหน้า

ปัญหาใดของโมเดล autoregressive เช่น Tacotron 2 ที่ FastSpeech จัดการโดยเฉพาะ

ความสนใจแบบถดถอยอัตโนมัติอาจจัดแนวไม่ตรง ทำให้เกิดคำข้ามหรือซ้ำ และการถอดรหัสตามลำดับช้า FastSpeech แก้ไขทั้งสองอย่าง

บทบาทของ 'ตัวควบคุมความยาว' ใน FastSpeech คืออะไร

ตัวควบคุมความยาวจะขยายคุณลักษณะหน่วยเสียงตามระยะเวลาที่คาดการณ์ไว้ โดยจัดลำดับข้อความที่สั้นกว่าให้สอดคล้องกับสเปกโตรแกรมที่ยาวกว่า

Which additional speech variations does FastSpeech 2 condition on during training and inference?

FastSpeech 2 uses duration, pitch, and energy information as conditional inputs to better model speech variation.

เหตุใดเวลาในการอนุมานของ FastSpeech จึงแทบจะไม่เพิ่มขึ้นตามความยาวของประโยค

เนื่องจากการสร้างเป็นแบบขนาน การเพิ่มเฟรมมากขึ้นจึงไม่คูณขั้นตอนตามลำดับเหมือนกับการถอดรหัสอัตโนมัติ

เรียนรู้ต่อไป

คำแนะนำที่เกี่ยวข้อง

คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้

รับใบรับรอง AI ฟรีหลักสูตรและการสอบสั้น ๆ ฟรี ไม่มีค่าใช้จ่าย ไม่มีบัตรเครดิต ประมาณ 2.5 ชั่วโมงเริ่มต้นฟรี →