คู่มือเสียง AI
ทาโคตรอน 2
Tacotron 2 เป็นระบบการอ่านออกเสียงข้อความจากต้นทางถึงปลายทางจาก Google (2017) ที่เปลี่ยนข้อความที่เขียนเป็นเมลสเปกโตรแกรมโดยตรง ซึ่งตัวแปลงเสียงประสาทจะแปลงเป็นคำพูดที่เหมือนจริง
ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min
บนหน้านี้อ่าน 2 นาที
ภาพรวม
It produced audio rivaling human recordings on key benchmarks.
เจาะลึก
Tacotron 2 มีสองส่วนหลัก ประการแรก เครือข่ายแบบลำดับต่อลำดับที่มีความสนใจจะอ่านอักขระของข้อความและทำนายเมล-สเปกโตรแกรมแบบเฟรมต่อเฟรม ตัวเข้ารหัสเปลี่ยนอักขระให้เป็นตัวแทนที่ซ่อนอยู่ กลไกความสนใจตามตำแหน่งจะจัดข้อความให้อยู่ในกรอบเสียง และเครื่องถอดรหัสอัตโนมัติจะปล่อยสเปกตรัมออกมาในขณะที่ 'โทเค็นหยุด' จะเรียนรู้เมื่อคำพูดสิ้นสุดลง ประการที่สอง โวโคเดอร์ WaveNet ที่ได้รับการดัดแปลงจะแปลงเมลสเปกโตรแกรมนั้นให้เป็นรูปแบบคลื่นดิบ ด้วยการแยกปัญหาด้วยวิธีนี้ Tacotron 2 จะเรียนรู้ฉันทลักษณ์ การออกเสียง และการกำหนดจังหวะจากข้อมูลโดยอาศัยการออกแบบทางวิศวกรรมด้วยมือเพียงเล็กน้อย มีคะแนนความคิดเห็นเฉลี่ยใกล้เคียงกับการบันทึกระดับมืออาชีพ ทำให้กลายเป็นจุดสังเกตในการสังเคราะห์เสียงที่เป็นธรรมชาติและเป็นเทมเพลตสำหรับ TTS แบบระบบประสาทในภายหลัง
การใช้งานจริงในโลกแห่งความเป็นจริง
ขับเคลื่อนเสียงที่เป็นธรรมชาติในผลิตภัณฑ์และผู้ช่วยการอ่านออกเสียงข้อความของ Google
การสร้างคำบรรยายที่แสดงออกสำหรับหนังสือเสียงและพอดแคสต์
ให้เสียงสำหรับโปรแกรมอ่านหน้าจอและซอฟต์แวร์การเข้าถึง
ทำหน้าที่เป็นพื้นฐานการวิจัยและตัวอย่างการสอนสำหรับไปป์ไลน์ TTS ของระบบประสาท
อนาคตของทาโคตรอน 2
การออกแบบสองขั้นตอนของ Tacotron 2 เป็นแรงบันดาลใจให้เกิดคลื่นของระบบประสาท TTS ตัวสืบทอดที่ไม่ถอยหลังอัตโนมัติที่เร็วกว่าเช่น FastSpeech 2 ได้ลบตัวถอดรหัสตามลำดับออกเพื่อความรวดเร็วและความเสถียร และขณะนี้ตัวเข้ารหัส WaveNet มักจะถูกสลับสำหรับ HiFi-GAN หรือรุ่นการแพร่กระจาย สนามกำลังเคลื่อนไปสู่ระบบการโคลนเสียงแบบ end-to-end และ multi-speaker แบบสมบูรณ์ และไม่มีช็อตใดๆ แต่ Tacotron 2 ยังคงเป็นข้อมูลอ้างอิงพื้นฐานสำหรับไปป์ไลน์ที่ใช้สเปกโตรแกรม
การนำไปปฏิบัติ
ทำไมมันถึงสำคัญ
- เข้าถึงและเข้าถึง. ปรับปรุงการเข้าถึงผ่านการถอดเสียง คำบรรยาย และอินเทอร์เฟซเสียง
- ต้นทุนและงบประมาณ. ทีมสื่อสามารถจัดส่งเสียงที่สวยงามได้รวดเร็วยิ่งขึ้นด้วยงบประมาณที่น้อยลง
- ความเร็วและขนาด. ระบบที่ติดต่อกับลูกค้าสามารถประมวลผลการโต้ตอบด้วยเสียงในขนาดที่ใหญ่ขึ้น
ระวัง
- การใช้เสียงในทางที่ผิดและการแอบอ้างบุคคลอื่นมีความเสี่ยงเพิ่มขึ้นเมื่อขาดความยินยอม
- ความแม่นยำอาจลดลงตามสำเนียง ภาษาถิ่น หรือสภาพแวดล้อมที่มีเสียงดัง
- เสียงสังเคราะห์อาจถูกเข้าใจผิดว่าเป็นเสียงพูดที่แท้จริงโดยไม่มีการกำกับที่ชัดเจน
ขั้นตอนต่อไป
- ได้รับความยินยอมอย่างชัดแจ้งสำหรับการจับเสียง การโคลน และการใช้ซ้ำ
- ทดสอบคุณภาพกับลำโพงและสภาพพื้นหลังที่หลากหลาย
- กำหนดเวลาที่มนุษย์จะต้องตรวจสอบหรืออนุมัติผลลัพธ์
- ติดป้ายกำกับเสียงสังเคราะห์และเก็บบันทึกที่มาเพื่อความรับผิดชอบ
สำรวจต่อไป
จดหมายข่าวฟรี
รับสรุป AI รายวัน
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
Take the Tacotron 2 quiz
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
คำถามที่พบบ่อย
What is Tacotron 2?
Tacotron 2 เป็นระบบการอ่านออกเสียงข้อความจากต้นทางถึงปลายทางจาก Google (2017) ที่เปลี่ยนข้อความที่เขียนเป็นเมลสเปกโตรแกรมโดยตรง ซึ่งตัวแปลงเสียงประสาทจะแปลงเป็นคำพูดที่เหมือนจริง สร้างเสียงที่เทียบเท่ากับเสียงของมนุษย์บนเกณฑ์มาตรฐานที่สำคัญ
Tacotron 2 เป็นตัวแทนระดับกลางทำนายอะไรจากข้อความ
เครือข่ายแบบลำดับต่อลำดับของ Tacotron 2 ทำนายเมลสเปกโตรแกรม ซึ่งตัวแปลงเสียงจะเปลี่ยนเป็นเสียง
อะไรแปลงสเปกโตรแกรมของ Tacotron 2 ให้เป็นรูปคลื่นจริง
Tacotron 2 จับคู่ตัวทำนายสเปกโตรแกรมกับโวโคเดอร์ WaveNet ที่ดัดแปลงเพื่อสร้างเสียงดิบขั้นสุดท้าย
การให้ความสนใจแบบคำนึงถึงสถานที่ช่วยป้องกันปัญหาอะไรได้บ้าง
เมื่อพิจารณาถึงการจัดตำแหน่งก่อนหน้านี้ การใส่ใจในตำแหน่งที่ละเอียดอ่อนจะช่วยลดความล้มเหลว เช่น คำที่ซ้ำหรือตกหล่น
How does Tacotron 2 determine that it has generated the end of an utterance?
Tacotron 2 predicts a stop token alongside mel frames; generation ends when the learned stopping condition is met.
ส่วนข้อความเป็นสเปกโตรแกรมใช้รูปแบบสถาปัตยกรรมโดยรวมแบบใด
Tacotron 2 ใช้โมเดลลำดับต่อลำดับของตัวเข้ารหัส-ตัวถอดรหัส โดยให้ความสำคัญกับการจับคู่อักขระกับเฟรมสเปกโตรแกรม
เรียนรู้ต่อไป
คำแนะนำที่เกี่ยวข้อง
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้