TTS ที่ควบคุมระดับเสียงได้ FastPitch

FastPitch คือโมเดลการอ่านออกเสียงข้อความที่รวดเร็วและไม่ถดถอยอัตโนมัติ ซึ่งจะคาดเดาระดับเสียง (ความถี่พื้นฐาน) ของโทเค็นอินพุตทุกรายการได้อย่างชัดเจน ช่วยให้คุณสามารถแก้ไขน้ำเสียงและการเน้นเสียงได้เพียงปรับขนาดการคาดการณ์เหล่านั้น สิ่งสำคัญคือเนื่องจากสร้างเมลสเปกโตรแกรมเต็มรูปแบบในแบบคู่ขนาน ซึ่งเร็วกว่าซีเควนเชียลรุ่นเก่ามาก ขณะเดียวกันก็ให้การควบคุมทำนองเสียงโดยตรงและตีความได้

FastPitch เปิดตัวโดย NVIDIA ในปี 2020 สร้างบนสถาปัตยกรรม FastSpeech แบบขนานโดยการเพิ่มตัวทำนายระดับเสียงที่ชัดเจน สำหรับหน่วยเสียงหรืออักขระอินพุตแต่ละตัว ระบบจะคาดการณ์ค่าความถี่พื้นฐานหนึ่งค่า จากนั้นกำหนดเงื่อนไขให้กับตัวถอดรหัสเมลสเปกโตรแกรมบนเส้นขอบระดับเสียงนั้น เนื่องจากระดับเสียงเป็นสัญญาณที่แยกจากกันและมนุษย์สามารถอ่านได้ คุณจึงสามารถคูณ เลื่อน หรือแก้ไขด้วยมือก่อนการสังเคราะห์เพื่อเปลี่ยนการเน้น ทำให้เสียงคำพูดมีชีวิตชีวามากขึ้น หรือแก้ไขการส่งแบบเรียบๆ โดยไม่ต้องฝึกใหม่ สเปกโตรแกรมทั้งหมดถูกสร้างขึ้นในการส่งต่อเพียงครั้งเดียว (ไม่ใช่การถดถอยอัตโนมัติ) ดังนั้นการสร้างจึงมีลำดับความสำคัญเร็วกว่าแบบจำลองการถดถอยอัตโนมัติเช่น Tacotron 2 และระดับเสียงที่คาดการณ์ไว้ยังช่วยปรับปรุงความเป็นธรรมชาติโดยรวมอีกด้วย