التاليالدليل التالي
السلحفاة TTS التوليف التلقائي
الذكاء الاصطناعي الصوتي
دليل الصوت AI
FastSpeech وTTS غير الانحداري
يقوم FastSpeech بإنشاء مخطط طيفي كامل للكلام بالتوازي بدلاً من إطار واحد في كل مرة، مما يجعل عملية التوليف أسرع وأكثر استقرارًا بشكل كبير.
استمع إلى هذا الدليلرواه الذكاء الاصطناعي · ~2 min
في هذه الصفحةقراءة لمدة دقيقتين
نظرة عامة
It solved the slow, error-prone generation that plagued earlier autoregressive models like Tacotron.
الغوص العميق
نماذج تحويل النص إلى كلام العصبية السابقة مثل Tacotron 2 هي نماذج انحدار ذاتي: فهي تتنبأ بكل إطار صوتي مشروط بالإطار السابق، والذي يكون بطيئًا وعرضة لتخطي الكلمات أو تكرارها عندما يخطئ الانتباه. يقلب FastSpeech، الذي قدمته Microsoft وجامعة تشجيانغ في عام 2019، هذا الأمر من خلال التنبؤ بجميع الإطارات في وقت واحد. تأخذ شبكة التغذية الأمامية القائمة على المحولات الصوتيات، وتتنبأ بوضوح بالمدة التي يجب أن يستمر فيها كل صوت باستخدام منظم الطول، وتوسع التسلسل إلى العدد الصحيح من الإطارات قبل إنشاء المخطط الطيفي في مسار واحد. قام FastSpeech 2 بتحسين هذا الأمر من خلال توقع درجة الصوت والطاقة أيضًا، ومن خلال تدريب أهداف المدة من المحاذاة القسرية بدلاً من استخلاصها من نموذج المعلم البطيء، مما ينتج عنه كلام أكثر طبيعية ويمكن التحكم فيه.
التنفيذ في العالم الحقيقي
تقوم تطبيقات التنقل في الوقت الفعلي بإنشاء مطالبات صوتية خطوة بخطوة على الفور باستخدام تركيب نمط FastSpeech المتوازي.
تعمل أنظمة الرد الصوتي التفاعلي (IVR) لخدمة العملاء على تحويل النص الديناميكي إلى كلام على نطاق واسع دون أخطاء تخطي الكلمات.
تنتج قارئات الشاشة الخاصة بإمكانية الوصول كلامًا سريعًا وموثوقًا للمستندات الطويلة على أجهزة متواضعة.
تسمح أدوات المحتوى الصوتي للمبدعين بتعديل درجة الصوت ومعدل التحدث مباشرةً، وذلك بفضل درجة الصوت الواضحة وتوقعات الطاقة في FastSpeech 2.
مستقبل FastSpeech وTTS غير الانحداري
أصبح التوليف غير الانحداري الآن هو الإعداد الافتراضي لإنتاج TTS لأنه سريع وقوي ويمكن التحكم فيه. تدفع الأنظمة المستقبلية نحو التحكم الدقيق في العروض، والبث بزمن وصول أقل للتطبيقات الحية، والمتغيرات الشاملة التي تتخطى المخطط الطيفي المتوسط تمامًا. كما أن النماذج غير الانحدارية القائمة على الانتشار والتدفق آخذة في الارتفاع أيضًا، حيث تمزج توازي FastSpeech مع جودة توليدية أقوى، في حين تظل عناصر التحكم الصريحة في درجة الصوت والمدة ذات قيمة بالنسبة للمنتجات الصوتية المعبرة والقابلة للتحرير.
وضعها موضع التنفيذ
لماذا يهم
- الوصول والوصول. يعمل على تحسين إمكانية الوصول من خلال واجهات النسخ والسرد والصوت.
- التكلفة والميزانية. يمكن للفرق الإعلامية شحن الصوت المصقول بشكل أسرع بميزانيات أصغر.
- السرعة والحجم. يمكن للأنظمة التي تواجه العملاء معالجة التفاعلات المنطوقة على نطاق أوسع.
احترس من
- تزداد مخاطر إساءة استخدام الصوت وانتحال الشخصية عند فقدان الموافقة.
- يمكن أن تنخفض الدقة عبر اللهجات أو اللهجات أو البيئات الصاخبة.
- يمكن الخلط بين الصوت الاصطناعي والكلام الأصيل دون تصنيف واضح.
الخطوات التالية
- الحصول على موافقة صريحة لالتقاط الصوت واستنساخه وإعادة استخدامه.
- اختبار الجودة عبر مكبرات الصوت المتنوعة وظروف الخلفية.
- تحديد متى يجب على الإنسان مراجعة المخرجات أو الموافقة عليها.
- قم بتسمية الصوت الاصطناعي واحتفظ بسجلات المصدر للمساءلة.
استمر في الاستكشاف
رسالة إخبارية مجانية
احصل على الإحاطة اليومية لمنظمة العفو الدولية
ثلاث قصص تم التحقق منها بواسطة الذكاء الاصطناعي كل صباح من أيام الأسبوع، مكتوبة باللغة الإنجليزية البسيطة. مجاني للأبد، بدون إعلانات.
بريد إلكتروني واحد كل يوم من أيام الأسبوع. إلغاء الاشتراك بنقرة واحدة. نحن لا نبيع أو نشارك عنوانك أبدًا.
اختبر نفسك
Take the FastSpeech and Non-Autoregressive TTS quiz
تعليقات فورية على كل إجابة، وشهادة قابلة للمشاركة مع معرف يمكن التحقق منه بمجرد اجتياز الدورة التدريبية.
دعم تعليم الذكاء الاصطناعي المجاني. AI Understanding هي منظمة 501(c)(3) غير ربحية - لا إعلانات ولا نظام حظر الاشتراك غير المدفوع على الإطلاق. قم بالتبرع
الأسئلة المتداولة
What is FastSpeech and Non-Autoregressive TTS?
يقوم FastSpeech بإنشاء مخطط طيفي كامل للكلام بالتوازي بدلاً من إطار واحد في كل مرة، مما يجعل عملية التوليف أسرع وأكثر استقرارًا بشكل كبير. لقد حل الجيل البطيء والمعرض للخطأ الذي ابتليت به نماذج الانحدار الذاتي السابقة مثل Tacotron.
ماذا يعني "عدم الانحدار التلقائي" في سياق FastSpeech؟
يعني عدم الانحدار التلقائي أن الإطارات يتم إنتاجها بالتوازي في مسار واحد، وليست مشروطة واحدة تلو الأخرى على الإطارات السابقة.
ما هي مشكلة نماذج الانحدار الذاتي مثل Tacotron 2 التي يعالجها FastSpeech على وجه التحديد؟
يمكن أن ينحرف الانتباه التلقائي، مما يتسبب في تخطي الكلمات أو تكرارها، ويكون فك التشفير التسلسلي بطيئًا؛ يعمل FastSpeech على إصلاح كليهما.
ما هو دور "منظم الطول" في FastSpeech؟
يقوم منظم الطول بتوسيع ميزات الصوت من خلال فتراتها المتوقعة، مما يؤدي إلى محاذاة تسلسل النص الأقصر مع المخطط الطيفي الأطول.
Which additional speech variations does FastSpeech 2 condition on during training and inference?
FastSpeech 2 uses duration, pitch, and energy information as conditional inputs to better model speech variation.
لماذا بالكاد ينمو وقت الاستدلال في FastSpeech مع طول الجملة؟
نظرًا لأن التوليد يتم بالتوازي، فإن إضافة المزيد من الإطارات لا يؤدي إلى مضاعفة الخطوات المتسلسلة كما يفعل فك التشفير الانحداري التلقائي.
استمر في التعلم
أدلة ذات صلة
تم اختيار المزيد من الأدلة لهذا الموضوع