التاليالدليل التالي
MelGAN المشفر الصوتي التوليدي
الذكاء الاصطناعي الصوتي
دليل الصوت AI
مشفر صوتي WaveGAN الموازي
Parallel WaveGAN عبارة عن مشفر صوتي عصبي سريع يحول مخطط طيفي mel إلى شكل موجة صوتية خام باستخدام GAN صغير، مما يؤدي إلى إنشاء جميع العينات مرة واحدة.
استمع إلى هذا الدليلرواه الذكاء الاصطناعي · ~2 min
في هذه الصفحةقراءة لمدة دقيقتين
نظرة عامة
إنه مهم لأنه يقدم كلامًا عالي الجودة في الوقت الفعلي تقريبًا باستخدام نموذج صغير الحجم.
الغوص العميق
المشفر الصوتي هو المرحلة الأخيرة من خط أنابيب تحويل النص إلى كلام: فهو يحول خريطة الميزات الصوتية (عادةً مخطط طيفي ميلي) إلى الموجة الصوتية الفعلية التي تسمعها. تقوم تقنية Parallel WaveGAN، التي اقترحها ياماموتو وسونغ وكيم في عام 2019، بذلك باستخدام مولد على طراز WaveNet غير انحداري تم تدريبه كشبكة خصومة توليدية. بدلاً من التنبؤ بعينة صوتية واحدة في كل مرة مثل WaveNet الأصلي، فإنه ينتج شكل الموجة بالكامل بالتوازي، مما يجعله أسرع بشكل كبير. تجمع الوصفة الرئيسية الخاصة بها بين الخسارة العدائية وخسارة تحويل فورييه قصيرة المدى (STFT) متعددة الدقة، وبالتالي فإن النموذج يطابق الإشارة الحقيقية عبر عدة مقاييس زمنية وترددية. والنتيجة هي مولد صغير (حوالي 1.4 مليون معلمة) يعمل بشكل أسرع عدة مرات من الوقت الفعلي على وحدة معالجة الرسومات.
التنفيذ في العالم الحقيقي
إخراج الكلام في الوقت الفعلي في المساعدين الصوتيين المحمولين حيث يكون زمن الوصول وحجم النموذج مهمًا
يعمل كمولد للموجات مقترنًا بنماذج صوتية مثل Tacotron 2 أو FastSpeech
تحويل النص إلى كلام على الجهاز لأدوات إمكانية الوصول التي لا يمكنها الاعتماد على السحابة
أنظمة تحويل الصوت التي تعيد تركيب الطيف المحول إلى صوت طبيعي
مستقبل المشفر الصوتي WaveGAN المتوازي
ساعدت Parallel WaveGAN في إنشاء مشفرات صوتية لـ GAN كإعداد افتراضي عملي، وتظهر الآن خسارة STFT متعددة الدقة الخاصة بها عبر الأنظمة اللاحقة مثل HiFi-GAN والعديد من أنظمة البث. يشير المسار نحو أجهزة تشفير صوتي أصغر حجمًا وأقل زمن وصول للمساعدين الموجودين على الجهاز، وأجهزة السمع، وتحويل الصوت المباشر، بالإضافة إلى أجهزة تشفير صوت عالمية يتم تعميمها على مكبرات الصوت غير المرئية. توقع تكاملًا أكثر إحكامًا مع تحويل النص إلى كلام (TTS) الشامل والنشر الفعال على الأجهزة المحمولة والشرائح المدمجة.
وضعها موضع التنفيذ
لماذا يهم
- الوصول والوصول. يعمل على تحسين إمكانية الوصول من خلال واجهات النسخ والسرد والصوت.
- التكلفة والميزانية. يمكن للفرق الإعلامية شحن الصوت المصقول بشكل أسرع بميزانيات أصغر.
- السرعة والحجم. يمكن للأنظمة التي تواجه العملاء معالجة التفاعلات المنطوقة على نطاق أوسع.
احترس من
- تزداد مخاطر إساءة استخدام الصوت وانتحال الشخصية عند فقدان الموافقة.
- يمكن أن تنخفض الدقة عبر اللهجات أو اللهجات أو البيئات الصاخبة.
- يمكن الخلط بين الصوت الاصطناعي والكلام الأصيل دون تصنيف واضح.
الخطوات التالية
- الحصول على موافقة صريحة لالتقاط الصوت واستنساخه وإعادة استخدامه.
- اختبار الجودة عبر مكبرات الصوت المتنوعة وظروف الخلفية.
- تحديد متى يجب على الإنسان مراجعة المخرجات أو الموافقة عليها.
- قم بتسمية الصوت الاصطناعي واحتفظ بسجلات المصدر للمساءلة.
استمر في الاستكشاف
رسالة إخبارية مجانية
احصل على الإحاطة اليومية لمنظمة العفو الدولية
ثلاث قصص تم التحقق منها بواسطة الذكاء الاصطناعي كل صباح من أيام الأسبوع، مكتوبة باللغة الإنجليزية البسيطة. مجاني للأبد، بدون إعلانات.
بريد إلكتروني واحد كل يوم من أيام الأسبوع. إلغاء الاشتراك بنقرة واحدة. نحن لا نبيع أو نشارك عنوانك أبدًا.
اختبر نفسك
Take the Parallel WaveGAN Vocoder quiz
تعليقات فورية على كل إجابة، وشهادة قابلة للمشاركة مع معرف يمكن التحقق منه بمجرد اجتياز الدورة التدريبية.
دعم تعليم الذكاء الاصطناعي المجاني. AI Understanding هي منظمة 501(c)(3) غير ربحية - لا إعلانات ولا نظام حظر الاشتراك غير المدفوع على الإطلاق. قم بالتبرع
الأسئلة المتداولة
ما هو المشفر الصوتي WaveGAN المتوازي؟
Parallel WaveGAN عبارة عن مشفر صوتي عصبي سريع يحول مخطط طيفي mel إلى شكل موجة صوتية خام باستخدام GAN صغير، مما يؤدي إلى إنشاء جميع العينات مرة واحدة. إنه مهم لأنه يقدم كلامًا عالي الجودة في الوقت الفعلي تقريبًا باستخدام نموذج صغير الحجم.
ما هي وظيفة المشفر الصوتي مثل Parallel WaveGAN؟
المشفر الصوتي هو مرحلة تحويل النص إلى كلام (TTS) النهائية التي تقوم بتجميع الموجة الصوتية الفعلية من الميزات الصوتية مثل مخطط ميل الطيفي.
كيف يقوم Parallel WaveGAN بإنشاء عينات صوتية مقارنة بـ WaveNet الأصلي؟
تعد تقنية Parallel WaveGAN غير انحدارية، حيث تنتج شكل الموجة بالكامل مرة واحدة بدلاً من عينة تلو الأخرى، مما يجعلها أسرع بكثير.
ما هي الخسارة الأساسية بالنسبة لـ Parallel WaveGAN إلى جانب خسارة الخصومة؟
فهو يجمع بين خسارة الخصومة وخسارة STFT متعددة الدقة التي تقارن مقادير الطيف على عدة مقاييس.
ما هي البنية التي يستخدمها مولد Parallel WaveGAN؟
المولد عبارة عن شبكة شبيهة بـ WaveNet مبنية من تلافيفات متوسعة، مشروطة بمطياف الميل والضوضاء.
لماذا تعد Parallel WaveGAN جذابة للنشر؟
مع ما يقرب من 1.4 مليون معلمة، فهو صغير الحجم ويعمل بشكل أسرع عدة مرات من الوقت الفعلي، وهو مثالي للاستخدام على الجهاز.
استمر في التعلم
أدلة ذات صلة
تم اختيار المزيد من الأدلة لهذا الموضوع