คู่มือเสียง AI
คำพูดที่เป็นธรรมชาติและการแพร่กระจายแฝง TTS
งานวิจัยของ Microsoft เกี่ยวกับ NaturalSpeech ได้สำรวจเรื่อง neural text-to-speech ซึ่งรวมถึง codec-latent diffusion และ factorized speech representations
ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min
บนหน้านี้อ่าน 2 นาที
ภาพรวม
งานวิจัยแต่ละฉบับรายงานผลลัพธ์สำหรับข้อมูล แบบจำลอง และโปรโตคอลการประเมินที่ระบุไว้เท่านั้น ผลการวิจัยเหล่านั้นไม่ได้รับประกันว่าจะให้ประสิทธิภาพที่เท่าเทียมกันในบริบทอื่น
เจาะลึก
NaturalSpeech (2022) รายงานว่ามีคุณภาพระดับเดียวกับมนุษย์ภายใต้โปรโตคอลการประเมิน LJSpeech ของตน NaturalSpeech 2 ใช้ตัวแปลงสัญญาณเสียงแบบนิวรัล (neural audio codec) ที่มีการควอนไทซ์เวกเตอร์แบบตกค้าง (residual vector quantization) และการแพร่กระจาย (diffusion) เพื่อสร้างค่าแฝงของตัวแปลงสัญญาณ (codec latents) โดยมีเงื่อนไขจากข้อความและตัวอย่างเสียง ซึ่งช่วยให้สามารถทำการทดลองการสังเคราะห์เสียงและการร้องเพลงแบบ zero-shot ได้ NaturalSpeech 3 แยกการแสดงผลของตัวแปลงสัญญาณออกเป็นพื้นที่ย่อยของเนื้อหา จังหวะทำนอง น้ำเสียง และรายละเอียดทางเสียง และสร้างคุณลักษณะด้วยการแพร่กระจายแบบแยกส่วน สิ่งเหล่านี้เป็นเวอร์ชันและวิธีการที่แตกต่างกัน การกล่าวอ้าง เช่น คุณภาพระดับเดียวกับมนุษย์หรือความคล้ายคลึงที่สูงนั้น อ้างอิงถึงการประเมินผลตามเกณฑ์มาตรฐานเฉพาะ และไม่ควรตีความว่าเป็นการเปรียบเทียบในระดับสากล การสังเคราะห์เสียงคุณภาพสูงยังก่อให้เกิดความกังวลเรื่องความยินยอมและการปลอมแปลงตัวตน การนำไปใช้งานควรปฏิบัติตามนโยบายที่เกี่ยวข้องและได้รับอนุญาตสำหรับการใช้ลักษณะหรือเสียงของผู้พูดใดๆ
การใช้งานจริงในโลกแห่งความเป็นจริง
สตูดิโอพากย์เสียงเลียนแบบเสียงของนักแสดงจากตัวอย่างสั้นๆ เพื่อแปลภาพยนตร์ โดยใช้การโคลนแบบ Zero-shot สไตล์ NaturalSpeech 2
แพลตฟอร์มหนังสือเสียงสร้างคำบรรยายในระดับมนุษย์ที่ผู้ฟังประสบปัญหาในการแยกความแตกต่างจากพรสวรรค์ด้านเสียงที่แท้จริง
เครื่องมือช่วยการเข้าถึงจะสร้างเสียงของบุคคลขึ้นมาใหม่จากการบันทึกเก่าๆ สำหรับผู้ที่สูญเสียคำพูด
ชุดการสร้างเนื้อหาช่วยให้ผู้แก้ไขสามารถปรับเสียงต่ำและเสียงฉันทลักษณ์ได้อย่างอิสระ โดยใช้ประโยชน์จากคุณลักษณะที่แยกตัวประกอบของ NaturalSpeech 3
อนาคตของ TTS คำพูดที่เป็นธรรมชาติและการแพร่กระจายที่แฝงอยู่
TTS ที่ใช้การแพร่กระจายและแบบแยกส่วนอาจช่วยให้การสังเคราะห์เสียงมีความเป็นธรรมชาติและควบคุมได้มากขึ้น ในขณะที่ความสามารถและความเสี่ยงในการนำไปใช้ในทางที่ผิดนั้นขึ้นอยู่กับแบบจำลองและการนำไปใช้งาน FTC ได้จัดทำเอกสารเกี่ยวกับความเสี่ยงของการฉ้อโกงและการปลอมแปลงตัวตนจากการโคลนเสียงด้วย AI และหารือเกี่ยวกับมาตรการแทรกแซง เช่น การตรวจสอบความถูกต้อง การตรวจจับ และการใส่ลายน้ำ NIST ได้สำรวจวิธีการติดตามที่มาและการติดป้ายกำกับเนื้อหาที่สังเคราะห์ขึ้น พร้อมทั้งตั้งข้อสังเกตถึงข้อจำกัดทางเทคนิค มาตรการเหล่านี้สามารถสนับสนุนความโปร่งใสได้ แต่ไม่ได้รับประกันความยินยอม ความถูกต้อง หรือการป้องกันการนำไปใช้ในทางที่ผิด การนำไปใช้งานควรมีมาตรการป้องกันการละเมิดและการขออนุญาตที่เหมาะสม
การนำไปปฏิบัติ
ทำไมมันถึงสำคัญ
- เข้าถึงและเข้าถึง. ปรับปรุงการเข้าถึงผ่านการถอดเสียง คำบรรยาย และอินเทอร์เฟซเสียง
- ต้นทุนและงบประมาณ. ทีมสื่อสามารถจัดส่งเสียงที่สวยงามได้รวดเร็วยิ่งขึ้นด้วยงบประมาณที่น้อยลง
- ความเร็วและขนาด. ระบบที่ติดต่อกับลูกค้าสามารถประมวลผลการโต้ตอบด้วยเสียงในขนาดที่ใหญ่ขึ้น
ระวัง
- การใช้เสียงในทางที่ผิดและการแอบอ้างบุคคลอื่นมีความเสี่ยงเพิ่มขึ้นเมื่อขาดความยินยอม
- ความแม่นยำอาจลดลงตามสำเนียง ภาษาถิ่น หรือสภาพแวดล้อมที่มีเสียงดัง
- เสียงสังเคราะห์อาจถูกเข้าใจผิดว่าเป็นเสียงพูดที่แท้จริงโดยไม่มีการกำกับที่ชัดเจน
ขั้นตอนต่อไป
- ได้รับความยินยอมอย่างชัดแจ้งสำหรับการจับเสียง การโคลน และการใช้ซ้ำ
- ทดสอบคุณภาพกับลำโพงและสภาพพื้นหลังที่หลากหลาย
- กำหนดเวลาที่มนุษย์จะต้องตรวจสอบหรืออนุมัติผลลัพธ์
- ติดป้ายกำกับเสียงสังเคราะห์และเก็บบันทึกที่มาเพื่อความรับผิดชอบ
สำรวจต่อไป
จดหมายข่าวฟรี
รับสรุป AI รายวัน
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
ทำแบบทดสอบเรื่อง NaturalSpeech และ Latent Diffusion TTS
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
คำถามที่พบบ่อย
NaturalSpeech และ Latent Diffusion TTS คืออะไร
Microsoft งานวิจัย NaturalSpeech ของ Microsoft สำรวจเกี่ยวกับการสังเคราะห์เสียงจากข้อความด้วยโครงข่ายประสาทเทียม รวมถึงการแพร่กระจายค่าแฝงของตัวแปลงสัญญาณ (codec-latent diffusion) และการแสดงผลเสียงแบบแยกส่วน งานวิจัยแต่ละฉบับรายงานผลลัพธ์สำหรับข้อมูล แบบจำลอง และโปรโตคอลการประเมินที่ระบุไว้เท่านั้น ผลการวิจัยเหล่านั้นไม่ได้รับประกันว่าจะให้ประสิทธิภาพที่เท่าเทียมกันในบริบทอื่น
งานวิจัย NaturalSpeech ฉบับดั้งเดิมรายงานผลอย่างไรสำหรับการประเมินด้วย LJSpeech
การกล่าวอ้างนั้นจำกัดอยู่เพียงการประเมินและโปรโตคอล LJSpeech ของงานวิจัยดังกล่าวเท่านั้น ไม่ใช่ผลลัพธ์ทั่วไปสำหรับผู้พูดทุกคนหรือทุกกรณีการใช้งาน
โมเดลการแพร่กระจายแฝงของ NaturalSpeech 2 สร้างขึ้นจากอะไรจริง ๆ
NaturalSpeech 2 แพร่กระจายผ่านค่าแฝงของตัวแปลงสัญญาณ ซึ่งมีขนาดกะทัดรัดและง่ายต่อการสร้างแบบจำลองมากกว่ารูปคลื่นดิบ จากนั้นถอดรหัสเป็นเสียง
โมเดลการแพร่กระจายสร้างข้อมูลในระดับสูงได้อย่างไร
การแพร่กระจายจะเพิ่มเสียงรบกวนในระหว่างการฝึกซ้อม และเรียนรู้ที่จะย้อนกลับ สร้างตัวอย่างโดยค่อยๆ ลดเสียงรบกวนจากเสียงรบกวนแบบสุ่ม
การแพร่กระจายแฝงให้ NaturalSpeech 2 มีความสามารถหลักอะไรบ้าง
ด้วยการปรับเงื่อนไขเสียงพูดสั้นๆ NaturalSpeech 2 สามารถโคลนเสียงของผู้พูดที่ไม่เคยได้รับการฝึกฝนอย่างชัดเจน
แนวคิดหลักของ 'การกระจายตัวประกอบ' ของ NaturalSpeech 3 คืออะไร
การแพร่กระจายแบบแยกตัวประกอบจะแยกเนื้อหา ฉันทลักษณ์ เสียงต่ำ และรายละเอียดทางเสียงให้ไม่พันกัน เพื่อให้แต่ละคุณลักษณะสามารถสร้างแบบจำลองและควบคุมแยกกันได้
เรียนรู้ต่อไป
คำแนะนำที่เกี่ยวข้อง
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้