التاليالدليل التالي
FastPitch Pitch-Controlled TTS
الذكاء الاصطناعي الصوتي
دليل الصوت AI
محاذاة رتيبة Glow-TTS
Glow-TTS هو نموذج لتحويل النص إلى كلام يتعلم كيفية محاذاة النص مع الكلام من تلقاء نفسه باستخدام خدعة بحث ذكية، مما يلغي الحاجة إلى أداة محاذاة منفصلة.
استمع إلى هذا الدليلرواه الذكاء الاصطناعي · ~2 min
في هذه الصفحةقراءة لمدة دقيقتين
نظرة عامة
إنه مهم لأنه يجعل التدريب أبسط والتوليف سريعًا ومتوازيًا.
الغوص العميق
يقوم Glow-TTS، الذي قدمه كيم وزملاؤه في عام 2020، بإنشاء مخطط طيفي ميل من النص باستخدام وحدة فك ترميز قائمة على التدفق وآلية محاذاة مدمجة تسمى بحث المحاذاة الرتيبة (MAS). استخدمت أنظمة تحويل النص إلى كلام (TTS) السابقة مثل Tacotron 2 الانتباه لتحديد حرف النص الذي يطابق أي إطار صوتي، ولكن يمكن للانتباه تخطي الكلمات أو تكرارها أو قطع جمل طويلة. يفترض Glow-TTS بدلاً من ذلك أن المحاذاة يجب أن تكون رتيبة (تتم قراءة النص من اليسار إلى اليمين) وموجزة (يتم تعيين كل رمز مميز للنص إلى إطار واحد على الأقل). ويستخدم البرمجة الديناميكية للعثور على مثل هذه المحاذاة الأكثر احتمالية أثناء التدريب، ثم يتعلم متنبئ المدة الصغيرة إعادة إنتاجها عند الاستدلال. وهذا يؤدي إلى توليد خطاب قوي ومتوازي ويمكن التحكم فيه.
التنفيذ في العالم الحقيقي
تدريب صوت راوي الكتب الصوتية القوي الذي لا يتخطى الكلمات أو يكررها أبدًا في فقرات طويلة
تشغيل مرحلة المحاذاة للمساعدين الصوتيين وقارئات الشاشة مفتوحة المصدر المستندة إلى VITS
إنشاء تحويل نصي إلى كلام (TTS) يمكن التحكم فيه حيث يمكنك تمديد أو ضغط فترات الصوت للحصول على نطق بطيء وواضح في تطبيقات تعلم اللغة
إنشاء مجموعات بيانات كلامية اصطناعية للغات منخفضة الموارد حيث تكون البيانات المحاذاة يدويًا نادرة
مستقبل محاذاة Glow-TTS الرتيبة
إن فكرة المحاذاة الرتيبة التي ابتكرها Glow-TTS تدعم الآن العديد من الأنظمة الحديثة غير الانحدارية الذاتية، بما في ذلك VITS، الذي يدمجها مع مشفر صوتي لتوليد الشكل الموجي من طرف إلى طرف. توقع استمرار استخدام المحاذاة الصارمة على غرار MAS في اللغات منخفضة الموارد، والأصوات في الوقت الفعلي على الجهاز، والكلام الذي يمكن التحكم فيه حيث يجب تحرير المدة ودرجة الصوت والإيقاع بشكل صريح. يستعير الانتشار ومطابقة التدفق تحويل النص إلى كلام (TTS) بشكل متزايد هذا التعيين النظيف من النص إلى الإطار لتحقيق الاستقرار.
وضعها موضع التنفيذ
لماذا يهم
- الوصول والوصول. يعمل على تحسين إمكانية الوصول من خلال واجهات النسخ والسرد والصوت.
- التكلفة والميزانية. يمكن للفرق الإعلامية شحن الصوت المصقول بشكل أسرع بميزانيات أصغر.
- السرعة والحجم. يمكن للأنظمة التي تواجه العملاء معالجة التفاعلات المنطوقة على نطاق أوسع.
احترس من
- تزداد مخاطر إساءة استخدام الصوت وانتحال الشخصية عند فقدان الموافقة.
- يمكن أن تنخفض الدقة عبر اللهجات أو اللهجات أو البيئات الصاخبة.
- يمكن الخلط بين الصوت الاصطناعي والكلام الأصيل دون تصنيف واضح.
الخطوات التالية
- الحصول على موافقة صريحة لالتقاط الصوت واستنساخه وإعادة استخدامه.
- اختبار الجودة عبر مكبرات الصوت المتنوعة وظروف الخلفية.
- تحديد متى يجب على الإنسان مراجعة المخرجات أو الموافقة عليها.
- قم بتسمية الصوت الاصطناعي واحتفظ بسجلات المصدر للمساءلة.
استمر في الاستكشاف
رسالة إخبارية مجانية
احصل على الإحاطة اليومية لمنظمة العفو الدولية
ثلاث قصص تم التحقق منها بواسطة الذكاء الاصطناعي كل صباح من أيام الأسبوع، مكتوبة باللغة الإنجليزية البسيطة. مجاني للأبد، بدون إعلانات.
بريد إلكتروني واحد كل يوم من أيام الأسبوع. إلغاء الاشتراك بنقرة واحدة. نحن لا نبيع أو نشارك عنوانك أبدًا.
اختبر نفسك
خذ اختبار المحاذاة الرتيبة Glow-TTS
تعليقات فورية على كل إجابة، وشهادة قابلة للمشاركة مع معرف يمكن التحقق منه بمجرد اجتياز الدورة التدريبية.
دعم تعليم الذكاء الاصطناعي المجاني. AI Understanding هي منظمة 501(c)(3) غير ربحية - لا إعلانات ولا نظام حظر الاشتراك غير المدفوع على الإطلاق. قم بالتبرع
الأسئلة المتداولة
ما هي محاذاة Glow-TTS الرتيبة؟
Glow-TTS هو نموذج لتحويل النص إلى كلام يتعلم كيفية محاذاة النص مع الكلام من تلقاء نفسه باستخدام خدعة بحث ذكية، مما يلغي الحاجة إلى أداة محاذاة منفصلة. إنه مهم لأنه يجعل التدريب أبسط والتوليف سريعًا ومتوازيًا.
ما هي مشكلة تحويل النص إلى كلام (TTS) القائمة على الاهتمام والتي يهدف Glow-TTS إلى إصلاحها؟
يمكن أن يخطئ الانتباه عند المدخلات الطويلة، مما يتسبب في تخطي الكلمات أو تكرارها؛ يفرض Glow-TTS محاذاة رتيبة لتجنب ذلك.
ما الذي يمثله MAS في Glow-TTS؟
MAS هو بحث رتيب عن المحاذاة، وهو روتين البرمجة الديناميكية الذي يجد أفضل محاذاة النص إلى الإطار.
لماذا يجب أن تكون المحاذاة رتيبة؟
يقرأ الكلام النص بشكل تسلسلي، لذا يجب أن تتحرك المحاذاة للأمام خلال النص مع تقدم الوقت.
ما نوع وحدة فك التشفير التي يستخدمها Glow-TTS لنمذجة المخططات الطيفية؟
يستخدم Glow-TTS وحدة فك ترميز قائمة على التدفق، مما يعطي احتمالية دقيقة بأن يتمكن MAS من تحقيق أقصى قدر من المحاذاة.
في وقت الاستدلال، كيف يحدد Glow-TTS مدة استمرار كل رمز نصي؟
هناك حاجة إلى MAS فقط في التدريب؛ يوفر متنبئ المدة المستفادة عددًا لكل إطار رمزي عند الاستدلال، مما يتيح التوليد الموازي.
استمر في التعلم
أدلة ذات صلة
تم اختيار المزيد من الأدلة لهذا الموضوع