التاليالدليل التالي
إنشاء الكلام المطابق لتدفق صندوق الصوت
الذكاء الاصطناعي الصوتي
دليل الصوت AI
WaveGlow المشفر الصوتي القائم على التدفق
WaveGlow هو مشفر صوتي عصبي قائم على التدفق من NVIDIA يقوم بتجميع أشكال موجية للكلام من مخططات طيفية mel في مسار واحد دون انحدار ذاتي.
استمع إلى هذا الدليلرواه الذكاء الاصطناعي · ~2 min
في هذه الصفحةقراءة لمدة دقيقتين
نظرة عامة
It matters because it delivers high-quality audio faster than real time using only a simple likelihood loss.
الغوص العميق
تجمع WaveGlow، التي أصدرتها Prenger وValle وCatanzaro في NVIDIA في عام 2018، بين أفكار Glow وWaveNet لإنشاء مشفر صوتي سريع وسهل التدريب. على عكس مشفرات الصوت GAN، فهو عبارة عن تدفق طبيعي: فهو يتعلم تعيينًا عكسيًا بين توزيع غاوسي بسيط وشكل موجة صوتية، مشروطًا بمخطط ميل الطيفي. يعمل التدريب على زيادة احتمالية تسجيل البيانات إلى أقصى حد، لذلك فهو لا يحتاج إلى أداة تمييز منفصلة، ولا انحدار تلقائي، ولا حاجة إلى تقطير بين شبكتين بين المعلم والطالب وهو ما كانت تتطلبه أساليب WaveNet المتوازية السابقة. لتوليد الصوت، يمكنك أخذ عينة من الضوضاء الغوسية وتشغيل الشبكة القابلة للعكس في الاتجاه المعاكس. ينتج WaveGlow صوتًا بجودة مماثلة لـ WaveNet أثناء التوليف بشكل أسرع بكثير من الوقت الفعلي على وحدة معالجة الرسومات الحديثة.
التنفيذ في العالم الحقيقي
الاقتران مع Tacotron 2 في خط أنابيب TTS المرجعي من NVIDIA لإنتاج كلام طبيعي بجودة الاستوديو
تركيب سريع للكلام باستخدام وحدة معالجة الرسومات (GPU) لسير عمل السرد والدبلجة وإنشاء المحتوى
إنشاء تدريب وصوت تجريبي في البحث حيث يفضل التدريب المستقر والخسارة الفردية
إخراج صوتي في الوقت الفعلي في الأنظمة التفاعلية التي تعمل على أجهزة NVIDIA
مستقبل المشفر الصوتي القائم على التدفق WaveGlow
أظهر WaveGlow أن أجهزة التشفير الصوتي ذات التدفق النقي يمكنها منافسة جودة الانحدار الذاتي، مما يؤثر على التدفق اللاحق ونماذج الصوت المطابقة للتدفق. تظل بساطتها ذات الخسارة الواحدة جذابة، على الرغم من أن مشفرات GAN الصوتية مثل HiFi-GAN غالبًا ما تفوز الآن من حيث الحجم والسرعة. وبالنظر إلى المستقبل، فإن الأفكار القائمة على التدفق ومطابقة التدفق تعود إلى الظهور في تحويل النص إلى كلام (TTS) الحديث المتجاور للانتشار، وتستمر التصميمات القابلة للانعكاس على طراز WaveGlow في إبلاغ الأبحاث حول توليد شكل موجة دقيق وقابل للتحكم وفعال.
وضعها موضع التنفيذ
لماذا يهم
- الوصول والوصول. يعمل على تحسين إمكانية الوصول من خلال واجهات النسخ والسرد والصوت.
- التكلفة والميزانية. يمكن للفرق الإعلامية شحن الصوت المصقول بشكل أسرع بميزانيات أصغر.
- السرعة والحجم. يمكن للأنظمة التي تواجه العملاء معالجة التفاعلات المنطوقة على نطاق أوسع.
احترس من
- تزداد مخاطر إساءة استخدام الصوت وانتحال الشخصية عند فقدان الموافقة.
- يمكن أن تنخفض الدقة عبر اللهجات أو اللهجات أو البيئات الصاخبة.
- يمكن الخلط بين الصوت الاصطناعي والكلام الأصيل دون تصنيف واضح.
الخطوات التالية
- الحصول على موافقة صريحة لالتقاط الصوت واستنساخه وإعادة استخدامه.
- اختبار الجودة عبر مكبرات الصوت المتنوعة وظروف الخلفية.
- تحديد متى يجب على الإنسان مراجعة المخرجات أو الموافقة عليها.
- قم بتسمية الصوت الاصطناعي واحتفظ بسجلات المصدر للمساءلة.
استمر في الاستكشاف
رسالة إخبارية مجانية
احصل على الإحاطة اليومية لمنظمة العفو الدولية
ثلاث قصص تم التحقق منها بواسطة الذكاء الاصطناعي كل صباح من أيام الأسبوع، مكتوبة باللغة الإنجليزية البسيطة. مجاني للأبد، بدون إعلانات.
بريد إلكتروني واحد كل يوم من أيام الأسبوع. إلغاء الاشتراك بنقرة واحدة. نحن لا نبيع أو نشارك عنوانك أبدًا.
اختبر نفسك
Take the WaveGlow Flow-Based Vocoder quiz
تعليقات فورية على كل إجابة، وشهادة قابلة للمشاركة مع معرف يمكن التحقق منه بمجرد اجتياز الدورة التدريبية.
دعم تعليم الذكاء الاصطناعي المجاني. AI Understanding هي منظمة 501(c)(3) غير ربحية - لا إعلانات ولا نظام حظر الاشتراك غير المدفوع على الإطلاق. قم بالتبرع
الأسئلة المتداولة
What is WaveGlow Flow-Based Vocoder?
WaveGlow هو مشفر صوتي عصبي قائم على التدفق من NVIDIA يقوم بتجميع أشكال موجية للكلام من مخططات طيفية mel في مسار واحد دون انحدار ذاتي. إنه أمر مهم لأنه يقدم صوتًا عالي الجودة بشكل أسرع من الوقت الفعلي باستخدام خسارة احتمالية بسيطة فقط.
يجمع WaveGlow بين الأفكار المعمارية من أي نموذجين؟
يدمج WaveGlow بنية التدفق المعكوسة لـ Glow مع تصميم النمذجة الصوتية لـ WaveNet.
ما هو نوع النموذج WaveGlow؟
WaveGlow هو تدفق طبيعي يتعلم رسم خرائط عكسي بين الضوضاء الغوسية والصوت.
كيف يقوم WaveGlow بإنشاء شكل موجي في وقت الاستدلال؟
نظرًا لأن الشبكة قابلة للعكس، يمكنك رسم ضوضاء غاوسية وتشغيل التدفق للخلف، مشروطًا بمقياس ميل الطيفي.
ما الهدف الذي يقوم WaveGlow بتحسينه أثناء التدريب؟
كتدفق، يعمل WaveGlow على زيادة احتمالية السجل الدقيقة إلى الحد الأقصى، ولا يتطلب أي تمييز أو التقطير.
ما المكونان اللذان يشكلان كل خطوة قابلة للعكس في WaveGlow؟
تقوم كل خطوة تدفق بدمج طبقة اقتران متقاربة مع التفاف 1x1 قابل للعكس تم اعتماده من Glow.
استمر في التعلم
أدلة ذات صلة
تم اختيار المزيد من الأدلة لهذا الموضوع