دليل الصوت AI
تاكوترون 2
Tacotron 2 هو نظام تحويل النص إلى كلام من طرف إلى طرف من Google (2017) والذي يحول النص المكتوب مباشرة إلى مخطط طيفي ميل، والذي يحوله مشفر صوتي عصبي إلى كلام نابض بالحياة.
استمع إلى هذا الدليلرواه الذكاء الاصطناعي · ~2 min
في هذه الصفحةقراءة لمدة دقيقتين
نظرة عامة
أنتجت تسجيلات بشرية تنافس التسجيلات على معايير رئيسية.
الغوص العميق
يتكون Tacotron 2 من جزأين رئيسيين. أولاً، تقوم شبكة تسلسل إلى تسلسل بقراءة أحرف النص وتتنبأ بمخطط طيفي ميل إطارًا تلو الآخر. يقوم برنامج التشفير بتحويل الأحرف إلى تمثيلات مخفية، وتقوم آلية الانتباه الحساسة للموقع بمحاذاة النص مع الإطارات الصوتية، ويقوم جهاز فك التشفير التلقائي بإصدار المخطط الطيفي بينما يتعلم "رمز التوقف" متى ينتهي الكلام. ثانيًا، يقوم مشفر صوتي WaveNet المعدل بتحويل مخطط الطيف الميلي هذا إلى شكل موجة خام. من خلال تقسيم المشكلة بهذه الطريقة، يتعلم Tacotron 2 علم العروض والنطق والإيقاع من البيانات بأقل قدر من الهندسة اليدوية. لقد حقق معدل رأي متوسطًا قريبًا من التسجيلات الاحترافية، مما يجعله علامة بارزة في تركيب الصوت الطبيعي ونموذجًا لتحويل النص إلى كلام (TTS) العصبي لاحقًا.
التنفيذ في العالم الحقيقي
تشغيل الأصوات ذات الأصوات الطبيعية في منتجات Google الخاصة بتحويل النص إلى كلام والمساعدين
توليد السرد التعبيري للكتب الصوتية والبودكاست
توفير أصوات لقارئات الشاشة وبرامج إمكانية الوصول
بمثابة خط أساس بحثي ومثال تعليمي لخطوط أنابيب تحويل النص إلى كلام العصبية
مستقبل تاكوترون 2
ألهم تصميم Tacotron 2 المكون من مرحلتين موجة من تحويل النص إلى كلام (TTS) العصبي. قامت الأجهزة اللاحقة الأسرع غير الانحدارية مثل FastSpeech 2 بإزالة وحدة فك التشفير التسلسلية من أجل السرعة والاستقرار، وغالبًا ما يتم الآن تبديل مشفر WaveNet الصوتي بنماذج HiFi-GAN أو الانتشار. يتجه هذا المجال نحو أنظمة الاستنساخ الصوتي الشاملة ومتعددة السماعات والتعبيرية والصفرية، لكن يظل Tacotron 2 مرجعًا أساسيًا لخطوط الأنابيب القائمة على المخطط الطيفي.
وضعها موضع التنفيذ
لماذا يهم
- الوصول والوصول. يعمل على تحسين إمكانية الوصول من خلال واجهات النسخ والسرد والصوت.
- التكلفة والميزانية. يمكن للفرق الإعلامية شحن الصوت المصقول بشكل أسرع بميزانيات أصغر.
- السرعة والحجم. يمكن للأنظمة التي تواجه العملاء معالجة التفاعلات المنطوقة على نطاق أوسع.
احترس من
- تزداد مخاطر إساءة استخدام الصوت وانتحال الشخصية عند فقدان الموافقة.
- يمكن أن تنخفض الدقة عبر اللهجات أو اللهجات أو البيئات الصاخبة.
- يمكن الخلط بين الصوت الاصطناعي والكلام الأصيل دون تصنيف واضح.
الخطوات التالية
- الحصول على موافقة صريحة لالتقاط الصوت واستنساخه وإعادة استخدامه.
- اختبار الجودة عبر مكبرات الصوت المتنوعة وظروف الخلفية.
- تحديد متى يجب على الإنسان مراجعة المخرجات أو الموافقة عليها.
- قم بتسمية الصوت الاصطناعي واحتفظ بسجلات المصدر للمساءلة.
استمر في الاستكشاف
رسالة إخبارية مجانية
احصل على الإحاطة اليومية لمنظمة العفو الدولية
ثلاث قصص تم التحقق منها بواسطة الذكاء الاصطناعي كل صباح من أيام الأسبوع، مكتوبة باللغة الإنجليزية البسيطة. مجاني للأبد، بدون إعلانات.
بريد إلكتروني واحد كل يوم من أيام الأسبوع. إلغاء الاشتراك بنقرة واحدة. نحن لا نبيع أو نشارك عنوانك أبدًا.
اختبر نفسك
Take the Tacotron 2 quiz
تعليقات فورية على كل إجابة، وشهادة قابلة للمشاركة مع معرف يمكن التحقق منه بمجرد اجتياز الدورة التدريبية.
دعم تعليم الذكاء الاصطناعي المجاني. AI Understanding هي منظمة 501(c)(3) غير ربحية - لا إعلانات ولا نظام حظر الاشتراك غير المدفوع على الإطلاق. قم بالتبرع
الأسئلة المتداولة
ما هو تاكوترون 2؟
Tacotron 2 هو نظام تحويل النص إلى كلام من طرف إلى طرف من Google (2017) والذي يحول النص المكتوب مباشرة إلى مخطط طيفي ميل، والذي يحوله مشفر صوتي عصبي إلى كلام نابض بالحياة. أنتجت تسجيلات صوتية تنافس الإنسان على المعايير الرئيسية.
ما هو التمثيل الوسيط الذي يتنبأ به Tacotron 2 من النص؟
تتنبأ شبكة التسلسل إلى التسلسل في Tacotron 2 بمخطط طيفي ميل، والذي يحوله المشفر الصوتي بعد ذلك إلى صوت.
ما الذي يحول المخطط الطيفي لـ Tacotron 2 إلى شكل موجة فعلي؟
يقوم Tacotron 2 بإقران جهاز التنبؤ الطيفي الخاص به مع مشفر صوتي معدل من WaveNet لإنشاء الصوت الخام النهائي.
ما هي المشكلة التي يساعد الاهتمام الحساس للموقع في منعها؟
من خلال النظر في المحاذاة السابقة، يقلل الاهتمام الحساس للموقع من حالات الفشل مثل تكرار الكلمات أو إسقاطها.
How does Tacotron 2 determine that it has generated the end of an utterance?
Tacotron 2 predicts a stop token alongside mel frames; generation ends when the learned stopping condition is met.
ما هو نمط الهندسة المعمارية العام الذي يستخدمه جزء تحويل النص إلى الطيف؟
يستخدم Tacotron 2 نموذج تسلسل إلى تسلسل لجهاز التشفير وفك التشفير مع الانتباه إلى تعيين الأحرف إلى إطارات الطيف.
استمر في التعلم
أدلة ذات صلة
تم اختيار المزيد من الأدلة لهذا الموضوع