ทาโคตรอน 2
Tacotron 2 เป็นระบบการอ่านออกเสียงข้อความจากต้นทางถึงปลายทางจาก Google (2017) ที่เปลี่ยนข้อความที่เขียนเป็นเมลสเปกโตรแกรมโดยตรง ซึ่งตัวแปลงเสียงประสาทจะแปลงเป็นคำพูดที่เหมือนจริง
ภาพรวม
It produced audio rivaling human recordings on key benchmarks.
เจาะลึก
Tacotron 2 มีสองส่วนหลัก ประการแรก เครือข่ายแบบลำดับต่อลำดับที่มีความสนใจจะอ่านอักขระของข้อความและทำนายเมล-สเปกโตรแกรมแบบเฟรมต่อเฟรม ตัวเข้ารหัสเปลี่ยนอักขระให้เป็นตัวแทนที่ซ่อนอยู่ กลไกความสนใจตามตำแหน่งจะจัดข้อความให้อยู่ในกรอบเสียง และเครื่องถอดรหัสอัตโนมัติจะปล่อยสเปกตรัมออกมาในขณะที่ 'โทเค็นหยุด' จะเรียนรู้เมื่อคำพูดสิ้นสุดลง ประการที่สอง โวโคเดอร์ WaveNet ที่ได้รับการดัดแปลงจะแปลงเมลสเปกโตรแกรมนั้นให้เป็นรูปแบบคลื่นดิบ ด้วยการแยกปัญหาด้วยวิธีนี้ Tacotron 2 จะเรียนรู้ฉันทลักษณ์ การออกเสียง และการกำหนดจังหวะจากข้อมูลโดยอาศัยการออกแบบทางวิศวกรรมด้วยมือเพียงเล็กน้อย มีคะแนนความคิดเห็นเฉลี่ยใกล้เคียงกับการบันทึกระดับมืออาชีพ ทำให้กลายเป็นจุดสังเกตในการสังเคราะห์เสียงที่เป็นธรรมชาติและเป็นเทมเพลตสำหรับ TTS แบบระบบประสาทในภายหลัง
ข้อมูลเชิงลึกทางเทคนิค
เมล-สเปกโตรแกรมเป็นอินเทอร์เฟซที่ชาญฉลาดระหว่างทั้งสองเครือข่าย: มีขนาดกะทัดรัดและง่ายสำหรับโมเดลความสนใจในการคาดเดา แต่ยังสมบูรณ์เพียงพอสำหรับผู้ให้เสียงในการสร้างเสียงที่มีความเที่ยงตรงสูงขึ้นมาใหม่ การเอาใจใส่โดยคำนึงถึงตำแหน่งจะป้องกันความล้มเหลวทั่วไป เช่น คำที่ซ้ำหรือข้ามโดยการพิจารณาการจัดตำแหน่งก่อนหน้านี้ และเครื่องถอดรหัสอัตโนมัติที่มีโทเค็นหยุดที่เรียนรู้ช่วยให้โมเดลจัดการประโยคที่มีความยาวผันแปรได้อย่างสวยงาม
ผลกระทบเชิงกลยุทธ์
เข้าถึงและเข้าถึง
ปรับปรุงการเข้าถึงผ่านการถอดเสียง คำบรรยาย และอินเทอร์เฟซเสียง
ต้นทุนและงบประมาณ
ทีมสื่อสามารถจัดส่งเสียงที่สวยงามได้รวดเร็วยิ่งขึ้นด้วยงบประมาณที่น้อยลง
ความเร็วและขนาด
ระบบที่ติดต่อกับลูกค้าสามารถประมวลผลการโต้ตอบด้วยเสียงในขนาดที่ใหญ่ขึ้น
อนาคตของทาโคตรอน 2
การออกแบบสองขั้นตอนของ Tacotron 2 เป็นแรงบันดาลใจให้เกิดคลื่นของระบบประสาท TTS ตัวสืบทอดที่ไม่ถอยหลังอัตโนมัติที่เร็วกว่าเช่น FastSpeech 2 ได้ลบตัวถอดรหัสตามลำดับออกเพื่อความรวดเร็วและความเสถียร และขณะนี้ตัวเข้ารหัส WaveNet มักจะถูกสลับสำหรับ HiFi-GAN หรือรุ่นการแพร่กระจาย สนามกำลังเคลื่อนไปสู่ระบบการโคลนเสียงแบบ end-to-end และ multi-speaker แบบสมบูรณ์ และไม่มีช็อตใดๆ แต่ Tacotron 2 ยังคงเป็นข้อมูลอ้างอิงพื้นฐานสำหรับไปป์ไลน์ที่ใช้สเปกโตรแกรม
การใช้งานจริงในโลกแห่งความเป็นจริง
ขับเคลื่อนเสียงที่เป็นธรรมชาติในผลิตภัณฑ์และผู้ช่วยการอ่านออกเสียงข้อความของ Google
การสร้างคำบรรยายที่แสดงออกสำหรับหนังสือเสียงและพอดแคสต์
ให้เสียงสำหรับโปรแกรมอ่านหน้าจอและซอฟต์แวร์การเข้าถึง
ทำหน้าที่เป็นพื้นฐานการวิจัยและตัวอย่างการสอนสำหรับไปป์ไลน์ TTS ของระบบประสาท
ความเสี่ยงและรั้ว
การใช้เสียงในทางที่ผิดและการแอบอ้างบุคคลอื่นมีความเสี่ยงเพิ่มขึ้นเมื่อขาดความยินยอม
ความแม่นยำอาจลดลงตามสำเนียง ภาษาถิ่น หรือสภาพแวดล้อมที่มีเสียงดัง
เสียงสังเคราะห์อาจถูกเข้าใจผิดว่าเป็นเสียงพูดที่แท้จริงโดยไม่มีการกำกับที่ชัดเจน
แผนงานการดำเนินงาน
ได้รับความยินยอมอย่างชัดแจ้งสำหรับการจับเสียง การโคลน และการใช้ซ้ำ
ทดสอบคุณภาพกับลำโพงและสภาพพื้นหลังที่หลากหลาย
กำหนดเวลาที่มนุษย์จะต้องตรวจสอบหรืออนุมัติผลลัพธ์
ติดป้ายกำกับเสียงสังเคราะห์และเก็บบันทึกที่มาเพื่อความรับผิดชอบ
สำรวจต่อไป
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Tacotron 2 quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
คำแนะนำต่อไป
ฉันทลักษณ์การสร้างแบบจำลอง
คำถามที่พบบ่อย
What is Tacotron 2?
Tacotron 2 เป็นระบบการอ่านออกเสียงข้อความจากต้นทางถึงปลายทางจาก Google (2017) ที่เปลี่ยนข้อความที่เขียนเป็นเมลสเปกโตรแกรมโดยตรง ซึ่งตัวแปลงเสียงประสาทจะแปลงเป็นคำพูดที่เหมือนจริง สร้างเสียงที่เทียบเท่ากับเสียงของมนุษย์บนเกณฑ์มาตรฐานที่สำคัญ
Tacotron 2 เป็นตัวแทนระดับกลางทำนายอะไรจากข้อความ
เครือข่ายแบบลำดับต่อลำดับของ Tacotron 2 ทำนายเมลสเปกโตรแกรม ซึ่งตัวแปลงเสียงจะเปลี่ยนเป็นเสียง
อะไรแปลงสเปกโตรแกรมของ Tacotron 2 ให้เป็นรูปคลื่นจริง
Tacotron 2 จับคู่ตัวทำนายสเปกโตรแกรมกับโวโคเดอร์ WaveNet ที่ดัดแปลงเพื่อสร้างเสียงดิบขั้นสุดท้าย
การให้ความสนใจแบบคำนึงถึงสถานที่ช่วยป้องกันปัญหาอะไรได้บ้าง
เมื่อพิจารณาถึงการจัดตำแหน่งก่อนหน้านี้ การใส่ใจในตำแหน่งที่ละเอียดอ่อนจะช่วยลดความล้มเหลว เช่น คำที่ซ้ำหรือตกหล่น
Tacotron 2 รู้ได้อย่างไรว่าเมื่อใดควรหยุดพูด
ตัวถอดรหัสอัตโนมัติจะทำนายโทเค็นหยุด โดยปล่อยให้โมเดลจัดการประโยคที่มีความยาวต่างกันไป
ส่วนข้อความเป็นสเปกโตรแกรมใช้รูปแบบสถาปัตยกรรมโดยรวมแบบใด
Tacotron 2 ใช้โมเดลลำดับต่อลำดับของตัวเข้ารหัส-ตัวถอดรหัส โดยให้ความสำคัญกับการจับคู่อักขระกับเฟรมสเปกโตรแกรม