คู่มือเสียง AI

ทาโคตรอน 2

Tacotron 2 เป็นระบบการอ่านออกเสียงข้อความจากต้นทางถึงปลายทางจาก Google (2017) ที่เปลี่ยนข้อความที่เขียนเป็นเมลสเปกโตรแกรมโดยตรง ซึ่งตัวแปลงเสียงประสาทจะแปลงเป็นคำพูดที่เหมือนจริง

ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min

บนหน้านี้อ่าน 2 นาที
  1. ภาพรวม
  2. เจาะลึก
  3. การใช้งานจริงในโลกแห่งความเป็นจริง
  4. อนาคตของทาโคตรอน 2
  5. การนำไปปฏิบัติ
  6. สำรวจต่อไป
  7. คำถามที่พบบ่อย

ภาพรวม

It produced audio rivaling human recordings on key benchmarks.

เจาะลึก

Tacotron 2 มีสองส่วนหลัก ประการแรก เครือข่ายแบบลำดับต่อลำดับที่มีความสนใจจะอ่านอักขระของข้อความและทำนายเมล-สเปกโตรแกรมแบบเฟรมต่อเฟรม ตัวเข้ารหัสเปลี่ยนอักขระให้เป็นตัวแทนที่ซ่อนอยู่ กลไกความสนใจตามตำแหน่งจะจัดข้อความให้อยู่ในกรอบเสียง และเครื่องถอดรหัสอัตโนมัติจะปล่อยสเปกตรัมออกมาในขณะที่ 'โทเค็นหยุด' จะเรียนรู้เมื่อคำพูดสิ้นสุดลง ประการที่สอง โวโคเดอร์ WaveNet ที่ได้รับการดัดแปลงจะแปลงเมลสเปกโตรแกรมนั้นให้เป็นรูปแบบคลื่นดิบ ด้วยการแยกปัญหาด้วยวิธีนี้ Tacotron 2 จะเรียนรู้ฉันทลักษณ์ การออกเสียง และการกำหนดจังหวะจากข้อมูลโดยอาศัยการออกแบบทางวิศวกรรมด้วยมือเพียงเล็กน้อย มีคะแนนความคิดเห็นเฉลี่ยใกล้เคียงกับการบันทึกระดับมืออาชีพ ทำให้กลายเป็นจุดสังเกตในการสังเคราะห์เสียงที่เป็นธรรมชาติและเป็นเทมเพลตสำหรับ TTS แบบระบบประสาทในภายหลัง

การใช้งานจริงในโลกแห่งความเป็นจริง

ขับเคลื่อนเสียงที่เป็นธรรมชาติในผลิตภัณฑ์และผู้ช่วยการอ่านออกเสียงข้อความของ Google

การสร้างคำบรรยายที่แสดงออกสำหรับหนังสือเสียงและพอดแคสต์

ให้เสียงสำหรับโปรแกรมอ่านหน้าจอและซอฟต์แวร์การเข้าถึง

ทำหน้าที่เป็นพื้นฐานการวิจัยและตัวอย่างการสอนสำหรับไปป์ไลน์ TTS ของระบบประสาท

อนาคตของทาโคตรอน 2

การออกแบบสองขั้นตอนของ Tacotron 2 เป็นแรงบันดาลใจให้เกิดคลื่นของระบบประสาท TTS ตัวสืบทอดที่ไม่ถอยหลังอัตโนมัติที่เร็วกว่าเช่น FastSpeech 2 ได้ลบตัวถอดรหัสตามลำดับออกเพื่อความรวดเร็วและความเสถียร และขณะนี้ตัวเข้ารหัส WaveNet มักจะถูกสลับสำหรับ HiFi-GAN หรือรุ่นการแพร่กระจาย สนามกำลังเคลื่อนไปสู่ระบบการโคลนเสียงแบบ end-to-end และ multi-speaker แบบสมบูรณ์ และไม่มีช็อตใดๆ แต่ Tacotron 2 ยังคงเป็นข้อมูลอ้างอิงพื้นฐานสำหรับไปป์ไลน์ที่ใช้สเปกโตรแกรม

การนำไปปฏิบัติ

ทำไมมันถึงสำคัญ

  • เข้าถึงและเข้าถึง. ปรับปรุงการเข้าถึงผ่านการถอดเสียง คำบรรยาย และอินเทอร์เฟซเสียง
  • ต้นทุนและงบประมาณ. ทีมสื่อสามารถจัดส่งเสียงที่สวยงามได้รวดเร็วยิ่งขึ้นด้วยงบประมาณที่น้อยลง
  • ความเร็วและขนาด. ระบบที่ติดต่อกับลูกค้าสามารถประมวลผลการโต้ตอบด้วยเสียงในขนาดที่ใหญ่ขึ้น

ระวัง

  • การใช้เสียงในทางที่ผิดและการแอบอ้างบุคคลอื่นมีความเสี่ยงเพิ่มขึ้นเมื่อขาดความยินยอม
  • ความแม่นยำอาจลดลงตามสำเนียง ภาษาถิ่น หรือสภาพแวดล้อมที่มีเสียงดัง
  • เสียงสังเคราะห์อาจถูกเข้าใจผิดว่าเป็นเสียงพูดที่แท้จริงโดยไม่มีการกำกับที่ชัดเจน

ขั้นตอนต่อไป

  1. ได้รับความยินยอมอย่างชัดแจ้งสำหรับการจับเสียง การโคลน และการใช้ซ้ำ
  2. ทดสอบคุณภาพกับลำโพงและสภาพพื้นหลังที่หลากหลาย
  3. กำหนดเวลาที่มนุษย์จะต้องตรวจสอบหรืออนุมัติผลลัพธ์
  4. ติดป้ายกำกับเสียงสังเคราะห์และเก็บบันทึกที่มาเพื่อความรับผิดชอบ

สำรวจต่อไป

จดหมายข่าวฟรี

รับสรุป AI รายวัน

เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา

อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ

ทดสอบตัวเอง

Take the Tacotron 2 quiz

ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร

เริ่มแบบทดสอบ

สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค

คำถามที่พบบ่อย

What is Tacotron 2?

Tacotron 2 เป็นระบบการอ่านออกเสียงข้อความจากต้นทางถึงปลายทางจาก Google (2017) ที่เปลี่ยนข้อความที่เขียนเป็นเมลสเปกโตรแกรมโดยตรง ซึ่งตัวแปลงเสียงประสาทจะแปลงเป็นคำพูดที่เหมือนจริง สร้างเสียงที่เทียบเท่ากับเสียงของมนุษย์บนเกณฑ์มาตรฐานที่สำคัญ

Tacotron 2 เป็นตัวแทนระดับกลางทำนายอะไรจากข้อความ

เครือข่ายแบบลำดับต่อลำดับของ Tacotron 2 ทำนายเมลสเปกโตรแกรม ซึ่งตัวแปลงเสียงจะเปลี่ยนเป็นเสียง

อะไรแปลงสเปกโตรแกรมของ Tacotron 2 ให้เป็นรูปคลื่นจริง

Tacotron 2 จับคู่ตัวทำนายสเปกโตรแกรมกับโวโคเดอร์ WaveNet ที่ดัดแปลงเพื่อสร้างเสียงดิบขั้นสุดท้าย

การให้ความสนใจแบบคำนึงถึงสถานที่ช่วยป้องกันปัญหาอะไรได้บ้าง

เมื่อพิจารณาถึงการจัดตำแหน่งก่อนหน้านี้ การใส่ใจในตำแหน่งที่ละเอียดอ่อนจะช่วยลดความล้มเหลว เช่น คำที่ซ้ำหรือตกหล่น

How does Tacotron 2 determine that it has generated the end of an utterance?

Tacotron 2 predicts a stop token alongside mel frames; generation ends when the learned stopping condition is met.

ส่วนข้อความเป็นสเปกโตรแกรมใช้รูปแบบสถาปัตยกรรมโดยรวมแบบใด

Tacotron 2 ใช้โมเดลลำดับต่อลำดับของตัวเข้ารหัส-ตัวถอดรหัส โดยให้ความสำคัญกับการจับคู่อักขระกับเฟรมสเปกโตรแกรม

เรียนรู้ต่อไป

คำแนะนำที่เกี่ยวข้อง

คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้

รับใบรับรอง AI ฟรีหลักสูตรและการสอบสั้น ๆ ฟรี ไม่มีค่าใช้จ่าย ไม่มีบัตรเครดิต ประมาณ 2.5 ชั่วโมงเริ่มต้นฟรี →