คู่มือเสียง AI

ฉันทลักษณ์การสร้างแบบจำลอง

Prosody modeling concerns features such as pitch, duration, energy and emphasis that shape how speech is delivered.

ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min

บนหน้านี้อ่าน 2 นาที
  1. ภาพรวม
  2. เจาะลึก
  3. การใช้งานจริงในโลกแห่งความเป็นจริง
  4. อนาคตของการสร้างแบบจำลองฉันทลักษณ์
  5. การนำไปปฏิบัติ
  6. สำรวจต่อไป
  7. คำถามที่พบบ่อย

ภาพรวม

Text-to-speech systems can model these variables to produce different valid spoken realizations of the same text.

เจาะลึก

Prosody includes pitch movement, duration, energy and stress. FastSpeech 2 models pitch, energy and duration as conditional inputs to help address the one-to-many mapping from text to speech. Research on prosody transfer shows a synthesizer can condition its output on a reference acoustic representation to reproduce aspects of the reference’s prosody, including when the reference and output speakers differ. A corpus study of 410 naturally occurring American-English yes/no questions found varied intonation contours; the most frequent nuclear contour in that corpus was a low-rise. These findings are scoped to their task, speakers and language variety.

การใช้งานจริงในโลกแห่งความเป็นจริง

Predicting phoneme duration and pitch in a text-to-speech system.

Using reference audio to condition a synthesized utterance on a target prosodic pattern.

Testing how emphasis changes focus interpretation in a spoken sentence.

Measuring question contours on a defined speech corpus rather than assuming a universal intonation rule.

อนาคตของการสร้างแบบจำลองฉันทลักษณ์

Evaluate synthesized prosody on target speakers, languages and discourse contexts. A contour that is common in one corpus or dialect need not be universal, and reference transfer should be assessed for both the intended delivery and speaker identity.

การนำไปปฏิบัติ

ทำไมมันถึงสำคัญ

  • เข้าถึงและเข้าถึง. ปรับปรุงการเข้าถึงผ่านการถอดเสียง คำบรรยาย และอินเทอร์เฟซเสียง
  • ต้นทุนและงบประมาณ. ทีมสื่อสามารถจัดส่งเสียงที่สวยงามได้รวดเร็วยิ่งขึ้นด้วยงบประมาณที่น้อยลง
  • ความเร็วและขนาด. ระบบที่ติดต่อกับลูกค้าสามารถประมวลผลการโต้ตอบด้วยเสียงในขนาดที่ใหญ่ขึ้น

ระวัง

  • การใช้เสียงในทางที่ผิดและการแอบอ้างบุคคลอื่นมีความเสี่ยงเพิ่มขึ้นเมื่อขาดความยินยอม
  • ความแม่นยำอาจลดลงตามสำเนียง ภาษาถิ่น หรือสภาพแวดล้อมที่มีเสียงดัง
  • เสียงสังเคราะห์อาจถูกเข้าใจผิดว่าเป็นเสียงพูดที่แท้จริงโดยไม่มีการกำกับที่ชัดเจน

ขั้นตอนต่อไป

  1. ได้รับความยินยอมอย่างชัดแจ้งสำหรับการจับเสียง การโคลน และการใช้ซ้ำ
  2. ทดสอบคุณภาพกับลำโพงและสภาพพื้นหลังที่หลากหลาย
  3. กำหนดเวลาที่มนุษย์จะต้องตรวจสอบหรืออนุมัติผลลัพธ์
  4. ติดป้ายกำกับเสียงสังเคราะห์และเก็บบันทึกที่มาเพื่อความรับผิดชอบ

สำรวจต่อไป

จดหมายข่าวฟรี

รับสรุป AI รายวัน

เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา

อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ

ทดสอบตัวเอง

Take the Prosody Modeling quiz

ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร

เริ่มแบบทดสอบ

สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค

คำถามที่พบบ่อย

What is Prosody Modeling?

Prosody modeling concerns features such as pitch, duration, energy and emphasis that shape how speech is delivered. Text-to-speech systems can model these variables to produce different valid spoken realizations of the same text.

คุณลักษณะใดที่อธิบายฉันทลักษณ์ในคำพูดได้ดีที่สุด

ฉันทลักษณ์หมายถึงคุณสมบัติที่เหนือกว่าของคำพูด น้ำเสียง (ระดับเสียง) จังหวะและระยะเวลา ความเครียด และพลังงาน (ความดัง) ที่อยู่เหนือคำ

ในการสร้างแบบจำลองฉันทลักษณ์ ความถี่พื้นฐาน (F0) แสดงถึงอะไร?

F0 คือความถี่พื้นฐานของการเปล่งเสียง ซึ่งเป็นอัตราการสั่นของเส้นเสียง ซึ่งเราได้ยินเป็นระดับเสียงหรือทำนองของเสียง

FastSpeech 2 ปรับปรุงการควบคุมฉันทลักษณ์เหนือรุ่นก่อนหน้าได้อย่างไร

FastSpeech 2 นำเสนออะแดปเตอร์ความแปรปรวนที่คาดการณ์ระยะเวลา ระดับเสียง และพลังงานอย่างชัดเจน ทำให้สามารถควบคุมฉันทลักษณ์ได้โดยตรงและมีเสถียรภาพมากกว่าการให้ความสนใจโดยปริยายเพียงอย่างเดียว

เหตุใดการทำนายฉันทลักษณ์จากข้อความเพียงอย่างเดียวจึงถือเป็นปัญหาแบบหนึ่งต่อกลุ่ม

คำเดียวกันสามารถส่งได้หลายวิธีขึ้นอยู่กับเจตนาและอารมณ์ ดังนั้นแบบจำลองจะต้องเลือกจากการอ่านฉันทลักษณ์ที่ถูกต้องหลายรายการ แทนที่จะคำนวณคำตอบเดียว

In a corpus of 410 naturally occurring American-English yes/no questions, which nuclear contour was most frequent?

The cited corpus study reports that the low-rise nuclear contour was the most frequent pattern in its sample of 410 naturally occurring American-English yes/no questions; this is not a universal rule.

เรียนรู้ต่อไป

คำแนะนำที่เกี่ยวข้อง

คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้

รับใบรับรอง AI ฟรีหลักสูตรและการสอบสั้น ๆ ฟรี ไม่มีค่าใช้จ่าย ไม่มีบัตรเครดิต ประมาณ 2.5 ชั่วโมงเริ่มต้นฟรี →