การสังเคราะห์แบบถดถอยอัตโนมัติของเต่า TTS
Tortoise TTS เป็นระบบการอ่านออกเสียงข้อความแบบโอเพ่นซอร์สที่ได้รับรางวัลจากเสียงที่เป็นธรรมชาติและเต็มไปด้วยอารมณ์และการโคลนเสียงที่หนักแน่นจากคลิปสั้นเพียงไม่กี่คลิป
ภาพรวม
Its name is a wink at the trade-off: it is slow but produces remarkably high-quality speech.
เจาะลึก
Tortoise TTS สร้างขึ้นโดย James Betker และเปิดตัวในปี 2022 โดยยืมแนวคิดจากการสร้างภาพ โดยเฉพาะอย่างยิ่งหม้อแปลงและการแพร่กระจายแบบออโต้รีเกรสซีฟ แล้วนำมาประยุกต์ใช้กับคำพูด ด้วยคลิปอ้างอิงสั้นๆ ของเสียงเป้าหมาย จึงสามารถลอกเสียงนั้นและอ่านข้อความที่กำหนดเองได้โดยใช้ฉันทลักษณ์ จังหวะ และอารมณ์ที่น่าเชื่อถือ โดยจงใจให้ความสำคัญกับคุณภาพมากกว่าความเร็ว ซึ่งเป็นเหตุผลว่าทำไมคนรุ่นหนึ่งถึงใช้เวลาหลายวินาทีต่อคำพูด จึงเป็นคำอุปมาของเต่า Tortoise สร้างผลลัพธ์ที่เป็นตัวเลือกหลายรายการ และใช้แบบจำลองการให้คะแนนเพื่อเลือกผลลัพธ์ที่น่าเชื่อถือที่สุด กลายเป็นที่ชื่นชอบของชุมชนสำหรับการพากย์เสียง พากย์เสียงพากย์ และค้นคว้า เนื่องจากน้ำหนักแบบเปิดทำให้ใครๆ ก็สามารถทดลองได้ และความเป็นธรรมชาติของมันก็เทียบได้กับระบบเชิงพาณิชย์ในยุคนั้น
ข้อมูลเชิงลึกทางเทคนิค
Tortoise รวมหม้อแปลงแบบถอยอัตโนมัติที่คาดการณ์โทเค็นคำพูดที่มีเงื่อนไขในการฝังข้อความและเสียงอ้างอิง จากนั้นปรับแต่งโทเค็นเหล่านั้นด้วยตัวถอดรหัสแบบแพร่เพื่อสร้างเมลสเปกโตรแกรม และแปลงเสียงเป็นเสียงในที่สุด โมเดลการให้คะแนน CLVP ที่แยกต่างหากจะจัดอันดับรุ่นผู้สมัครหลายรุ่นเทียบกับข้อความ ดังนั้นระบบจึงสามารถสุ่มตัวอย่างเทคจำนวนหนึ่งและรักษาเวลาประมวลผลที่ดีที่สุดเพื่อแลกกับความเที่ยงตรง
ผลกระทบเชิงกลยุทธ์
เข้าถึงและเข้าถึง
ปรับปรุงการเข้าถึงผ่านการถอดเสียง คำบรรยาย และอินเทอร์เฟซเสียง
ต้นทุนและงบประมาณ
ทีมสื่อสามารถจัดส่งเสียงที่สวยงามได้รวดเร็วยิ่งขึ้นด้วยงบประมาณที่น้อยลง
ความเร็วและขนาด
ระบบที่ติดต่อกับลูกค้าสามารถประมวลผลการโต้ตอบด้วยเสียงในขนาดที่ใหญ่ขึ้น
อนาคตของการสังเคราะห์แบบถดถอยอัตโนมัติ TTS ของเต่า
Tortoise เป็นแรงบันดาลใจให้กับคลื่นของผู้สืบทอดที่เร็วขึ้นและทางแยกที่มีจุดมุ่งหมายเพื่อรักษาคุณภาพในขณะที่ลดความหน่วง และเทคนิคของมันก็มีอิทธิพลต่อระบบการโคลนในภายหลัง ทิศทางในอนาคตนั้นชัดเจน: รักษาความเป็นธรรมชาติในระดับเต่าในขณะที่เข้าใกล้ความเร็วแบบเรียลไทม์ เพิ่มการควบคุมอารมณ์และสไตล์ที่ละเอียดยิ่งขึ้น และจับคู่โมเดลแบบเปิดดังกล่าวด้วยความยินยอมและการป้องกันลายน้ำ เนื่องจากการโคลนเสียงกลายเป็นกระแสหลักและได้รับการตรวจสอบอย่างมีจริยธรรม
การใช้งานจริงในโลกแห่งความเป็นจริง
การโคลนเสียงของผู้บรรยายจากตัวอย่างสั้นๆ เพื่ออ่านสคริปต์แบบยาว
การสร้างเสียงตัวละครที่แสดงออกสำหรับแฟนพากย์และโปรเจ็กต์แอนิเมชั่น
การสร้างข้อความเสียงส่วนบุคคลหรือคำบรรยายเกี่ยวกับการเข้าถึง
ทำหน้าที่เป็นพื้นฐานการวิจัยสำหรับการศึกษาการสังเคราะห์คำพูดอัตโนมัติ
ความเสี่ยงและรั้ว
การใช้เสียงในทางที่ผิดและการแอบอ้างบุคคลอื่นมีความเสี่ยงเพิ่มขึ้นเมื่อขาดความยินยอม
ความแม่นยำอาจลดลงตามสำเนียง ภาษาถิ่น หรือสภาพแวดล้อมที่มีเสียงดัง
เสียงสังเคราะห์อาจถูกเข้าใจผิดว่าเป็นเสียงพูดที่แท้จริงโดยไม่มีการกำกับที่ชัดเจน
แผนงานการดำเนินงาน
ได้รับความยินยอมอย่างชัดแจ้งสำหรับการจับเสียง การโคลน และการใช้ซ้ำ
ทดสอบคุณภาพกับลำโพงและสภาพพื้นหลังที่หลากหลาย
กำหนดเวลาที่มนุษย์จะต้องตรวจสอบหรืออนุมัติผลลัพธ์
ติดป้ายกำกับเสียงสังเคราะห์และเก็บบันทึกที่มาเพื่อความรับผิดชอบ
สำรวจต่อไป
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Tortoise TTS Autoregressive Synthesis quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
คำแนะนำต่อไป
FastSpeech และ TTS แบบไม่ถอยหลังอัตโนมัติ
คำถามที่พบบ่อย
What is Tortoise TTS Autoregressive Synthesis?
Tortoise TTS เป็นระบบการอ่านออกเสียงข้อความแบบโอเพ่นซอร์สที่ได้รับรางวัลจากเสียงที่เป็นธรรมชาติและเต็มไปด้วยอารมณ์และการโคลนเสียงที่หนักแน่นจากคลิปสั้นเพียงไม่กี่คลิป ชื่อของมันคือข้อดีข้อเสีย: มันช้าแต่ให้เสียงพูดคุณภาพสูงอย่างน่าทึ่ง
ชื่อ Tortoise TTS บอกเป็นนัยถึงอะไร?
คำอุปมาเรื่องเต่าสะท้อนถึงการจงใจแลกกับการสร้างผลผลิตที่ช้าเพื่อให้ได้ผลลัพธ์ที่เป็นธรรมชาติ
Tortoise สามารถทำอะไรได้บ้างจากคลิปอ้างอิงสั้นๆ เพียงไม่กี่คลิป?
เต่าทำการโคลนเสียงเพียงไม่กี่ช็อต โดยสร้างเสียงจากตัวอย่างสั้นๆ จำนวนหนึ่ง
ตระกูลโมเดลสองตระกูลใดที่มีอิทธิพลต่อการออกแบบของ Tortoise มากที่สุด
เต่าได้ดัดแปลงหม้อแปลงแบบออโตรีเกรสซีฟและเทคนิคการแพร่กระจายจากการสร้างภาพไปสู่คำพูด
Tortoise เลือกระหว่างผู้สมัครที่สร้างขึ้นหลายรายการได้อย่างไร
โมเดลการให้คะแนนของ CLVP จะจัดอันดับรุ่นของผู้สมัครในด้านความซื่อสัตย์ โดยปล่อยให้ Tortoise ทำหน้าที่ได้ดีที่สุด
ใครเป็นผู้สร้าง Tortoise TTS
Tortoise TTS สร้างสรรค์โดย James Betker และวางจำหน่ายประมาณปี 2022