دليل الصوت AI

WaveGlow المشفر الصوتي القائم على التدفق

WaveGlow هو مشفر صوتي عصبي قائم على التدفق من NVIDIA يقوم بتجميع أشكال موجية للكلام من مخططات طيفية mel في مسار واحد دون انحدار ذاتي.

قراءة لمدة دقيقتينآخر تحديث

نظرة عامة

It matters because it delivers high-quality audio faster than real time using only a simple likelihood loss.

الغوص العميق

تجمع WaveGlow، التي أصدرتها Prenger وValle وCatanzaro في NVIDIA في عام 2018، بين أفكار Glow وWaveNet لإنشاء مشفر صوتي سريع وسهل التدريب. على عكس مشفرات الصوت GAN، فهو عبارة عن تدفق طبيعي: فهو يتعلم تعيينًا عكسيًا بين توزيع غاوسي بسيط وشكل موجة صوتية، مشروطًا بمخطط ميل الطيفي. يعمل التدريب على زيادة احتمالية تسجيل البيانات إلى أقصى حد، لذلك فهو لا يحتاج إلى أداة تمييز منفصلة، ​​ولا انحدار تلقائي، ولا حاجة إلى تقطير بين شبكتين بين المعلم والطالب وهو ما كانت تتطلبه أساليب WaveNet المتوازية السابقة. لتوليد الصوت، يمكنك أخذ عينة من الضوضاء الغوسية وتشغيل الشبكة القابلة للعكس في الاتجاه المعاكس. ينتج WaveGlow صوتًا بجودة مماثلة لـ WaveNet أثناء التوليف بشكل أسرع بكثير من الوقت الفعلي على وحدة معالجة الرسومات الحديثة.

البصيرة الفنية

يقوم WaveGlow بتكديس خطوات التدفق القابلة للعكس، حيث تجمع كل منها بين طبقة اقتران متجانسة والتفاف 1x1 قابل للعكس مستعار من Glow. يتم تجميع العينات الصوتية في متجهات عبر عملية الضغط بحيث يمكن لطبقات الاقتران تحويلها بكفاءة. نظرًا لأن كل خطوة قابلة للعكس، فإن الاتجاه الأمامي يحسب احتمالية التدريب بينما يقوم الاتجاه العكسي بتعيين الضوضاء إلى الصوت للاستدلال. شبكة واحدة وهدف احتمالية سجل سلبي واحد يجعل التدريب مستقرًا وبسيطًا بشكل ملحوظ.

التأثير الاستراتيجي

الوصول والوصول

يعمل على تحسين إمكانية الوصول من خلال واجهات النسخ والسرد والصوت.

التكلفة والميزانية

يمكن للفرق الإعلامية شحن الصوت المصقول بشكل أسرع بميزانيات أصغر.

السرعة والحجم

يمكن للأنظمة التي تواجه العملاء معالجة التفاعلات المنطوقة على نطاق أوسع.

مستقبل المشفر الصوتي القائم على التدفق WaveGlow

أظهر WaveGlow أن أجهزة التشفير الصوتي ذات التدفق النقي يمكنها منافسة جودة الانحدار الذاتي، مما يؤثر على التدفق اللاحق ونماذج الصوت المطابقة للتدفق. تظل بساطتها ذات الخسارة الواحدة جذابة، على الرغم من أن مشفرات GAN الصوتية مثل HiFi-GAN غالبًا ما تفوز الآن من حيث الحجم والسرعة. وبالنظر إلى المستقبل، فإن الأفكار القائمة على التدفق ومطابقة التدفق تعود إلى الظهور في تحويل النص إلى كلام (TTS) الحديث المتجاور للانتشار، وتستمر التصميمات القابلة للانعكاس على طراز WaveGlow في إبلاغ الأبحاث حول توليد شكل موجة دقيق وقابل للتحكم وفعال.

التنفيذ في العالم الحقيقي

الاقتران مع Tacotron 2 في خط أنابيب TTS المرجعي من NVIDIA لإنتاج كلام طبيعي بجودة الاستوديو

تركيب سريع للكلام باستخدام وحدة معالجة الرسومات (GPU) لسير عمل السرد والدبلجة وإنشاء المحتوى

إنشاء تدريب وصوت تجريبي في البحث حيث يفضل التدريب المستقر والخسارة الفردية

إخراج صوتي في الوقت الفعلي في الأنظمة التفاعلية التي تعمل على أجهزة NVIDIA

المخاطر والدرابزين

تزداد مخاطر إساءة استخدام الصوت وانتحال الشخصية عند فقدان الموافقة.

يمكن أن تنخفض الدقة عبر اللهجات أو اللهجات أو البيئات الصاخبة.

يمكن الخلط بين الصوت الاصطناعي والكلام الأصيل دون تصنيف واضح.

خارطة طريق التنفيذ

1

الحصول على موافقة صريحة لالتقاط الصوت واستنساخه وإعادة استخدامه.

2

اختبار الجودة عبر مكبرات الصوت المتنوعة وظروف الخلفية.

3

تحديد متى يجب على الإنسان مراجعة المخرجات أو الموافقة عليها.

4

قم بتسمية الصوت الاصطناعي واحتفظ بسجلات المصدر للمساءلة.

استمر في الاستكشاف

Free newsletter

Get the daily AI briefing

Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.

One email each weekday. Unsubscribe in one click. We never sell or share your address.

Test yourself

Take the WaveGlow Flow-Based Vocoder quiz

Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.

ابدأ الاختبار

Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation

الدليل التالي

إنشاء الكلام المطابق لتدفق صندوق الصوت

الأسئلة المتداولة

What is WaveGlow Flow-Based Vocoder?

WaveGlow هو مشفر صوتي عصبي قائم على التدفق من NVIDIA يقوم بتجميع أشكال موجية للكلام من مخططات طيفية mel في مسار واحد دون انحدار ذاتي. إنه أمر مهم لأنه يقدم صوتًا عالي الجودة بشكل أسرع من الوقت الفعلي باستخدام خسارة احتمالية بسيطة فقط.

يجمع WaveGlow بين الأفكار المعمارية من أي نموذجين؟

يدمج WaveGlow بنية التدفق المعكوسة لـ Glow مع تصميم النمذجة الصوتية لـ WaveNet.

ما هو نوع النموذج WaveGlow؟

WaveGlow هو تدفق طبيعي يتعلم رسم خرائط عكسي بين الضوضاء الغوسية والصوت.

كيف يقوم WaveGlow بإنشاء شكل موجي في وقت الاستدلال؟

نظرًا لأن الشبكة قابلة للعكس، يمكنك رسم ضوضاء غاوسية وتشغيل التدفق للخلف، مشروطًا بمقياس ميل الطيفي.

ما الهدف الذي يقوم WaveGlow بتحسينه أثناء التدريب؟

كتدفق، يعمل WaveGlow على زيادة احتمالية السجل الدقيقة إلى الحد الأقصى، ولا يتطلب أي تمييز أو التقطير.

ما المكونان اللذان يشكلان كل خطوة قابلة للعكس في WaveGlow؟

تقوم كل خطوة تدفق بدمج طبقة اقتران متقاربة مع التفاف 1x1 قابل للعكس تم اعتماده من Glow.