التاليالدليل التالي
مشفر صوتي WaveGAN الموازي
الذكاء الاصطناعي الصوتي
دليل الصوت AI
أجهزة التشفير الصوتي HiFi-GAN وGAN
HiFi-GAN عبارة عن مشفر صوتي توليدي عدائي يحول المخطط الطيفي الميل إلى شكل موجة صوتية خام على الفور تقريبًا، مما ينتج صوتًا بجودة الاستوديو بشكل أسرع بكثير من الوقت الحقيقي.
استمع إلى هذا الدليلرواه الذكاء الاصطناعي · ~2 min
في هذه الصفحةقراءة لمدة دقيقتين
نظرة عامة
لقد أصبحت المرحلة النهائية القياسية لتحويل النص إلى كلام حديث لأنها سريعة وخفيفة الوزن ويصعب تمييزها عن التسجيلات الحقيقية.
الغوص العميق
المشفر الصوتي هو الخطوة الأخيرة في معظم خطوط تحويل النص إلى كلام: نموذج مثل Tacotron أو FastSpeech يتنبأ بمخطط طيفي ميل (صورة مدمجة للتردد مع مرور الوقت)، ويقوم المشفر الصوتي بملء عينات الشكل الموجي الفعلية. بدت المشفرات الصوتية العصبية المبكرة مثل WaveNet رائعة ولكنها أنتجت عينة صوتية تلو الأخرى، مما يجعلها بطيئة بشكل مؤلم. استبدلت تقنية HiFi-GAN، التي أطلقتها شركة Kong وKim وBae في عام 2020، حلقة الانحدار التلقائي تلك بمولد تغذية أمامي واحد تم تدريبه بشكل عدائي. وتتمثل خدعتها الرئيسية في استخدام أدوات تمييز متعددة تحكم على الصوت بمقاييس مختلفة وعلى أنماط دورية مختلفة، مما يجبر المولد على الحصول على كل من الملمس الدقيق ودورية طبقة الصوت بشكل صحيح. والنتيجة هي خطاب بمعدل 22 كيلو هرتز يتم تركيبه بشكل أسرع بمئات المرات من الوقت الفعلي على وحدة معالجة الرسومات، مع جودة صوت تنافس الحقيقة الأرضية.
التنفيذ في العالم الحقيقي
إنشاء المخرجات المنطوقة للمساعدين الافتراضيين وتطبيقات التنقل التي تحتاج إلى استجابات دون أي تأخير مسموع.
تشغيل أدوات استنساخ الصوت والدبلجة في الوقت الفعلي، حيث يتم تحويل مخطط طيف الميل المستنسخ إلى صوت يبدو طبيعيًا.
قيادة منصات سرد الكتب الصوتية والبودكاست التي تجمع ساعات من الكلام بسرعة وبتكلفة زهيدة.
بمثابة مرحلة الشكل الموجي داخل أجهزة توليف الصوت الغنائي والعروض الموسيقية عبر أجهزة التشفير الصوتية العالمية على طراز BigVGAN.
مستقبل أجهزة التشفير الصوتي HiFi-GAN وGAN
تستمر مشفرات GAN الصوتية في التناقص بشكل أصغر وأسرع: تضيف المتحدرون مثل BigVGAN عمليات تنشيط مصقولة للتعميم عبر المطربين والآلات واللغات غير المرئية، بينما تدفع UnivNet وVocos نحو التوليف الشامل لجميع النطاقات. تعمل الآن متغيرات البث والموجودة على الجهاز على تشغيل التشفير الصوتي داخل الهواتف وسماعات الأذن للمساعدين ذوي زمن الاستجابة المنخفض. على نحو متزايد، يتم تقطير نماذج الصوت المتوافقة مع التدفق والنشر في مولدات أحادية المرور على طراز GAN، مما يمزج دقة النشر مع سرعة GAN. توقع أن تتلاشى برامج الترميز الصوتي في برامج الترميز الصوتية العصبية للأغراض العامة التي تعمل على تشغيل الكلام والموسيقى.
وضعها موضع التنفيذ
لماذا يهم
- الوصول والوصول. يعمل على تحسين إمكانية الوصول من خلال واجهات النسخ والسرد والصوت.
- التكلفة والميزانية. يمكن للفرق الإعلامية شحن الصوت المصقول بشكل أسرع بميزانيات أصغر.
- السرعة والحجم. يمكن للأنظمة التي تواجه العملاء معالجة التفاعلات المنطوقة على نطاق أوسع.
احترس من
- تزداد مخاطر إساءة استخدام الصوت وانتحال الشخصية عند فقدان الموافقة.
- يمكن أن تنخفض الدقة عبر اللهجات أو اللهجات أو البيئات الصاخبة.
- يمكن الخلط بين الصوت الاصطناعي والكلام الأصيل دون تصنيف واضح.
الخطوات التالية
- الحصول على موافقة صريحة لالتقاط الصوت واستنساخه وإعادة استخدامه.
- اختبار الجودة عبر مكبرات الصوت المتنوعة وظروف الخلفية.
- تحديد متى يجب على الإنسان مراجعة المخرجات أو الموافقة عليها.
- قم بتسمية الصوت الاصطناعي واحتفظ بسجلات المصدر للمساءلة.
استمر في الاستكشاف
رسالة إخبارية مجانية
احصل على الإحاطة اليومية لمنظمة العفو الدولية
ثلاث قصص تم التحقق منها بواسطة الذكاء الاصطناعي كل صباح من أيام الأسبوع، مكتوبة باللغة الإنجليزية البسيطة. مجاني للأبد، بدون إعلانات.
بريد إلكتروني واحد كل يوم من أيام الأسبوع. إلغاء الاشتراك بنقرة واحدة. نحن لا نبيع أو نشارك عنوانك أبدًا.
اختبر نفسك
Take the HiFi-GAN and GAN Vocoders quiz
تعليقات فورية على كل إجابة، وشهادة قابلة للمشاركة مع معرف يمكن التحقق منه بمجرد اجتياز الدورة التدريبية.
دعم تعليم الذكاء الاصطناعي المجاني. AI Understanding هي منظمة 501(c)(3) غير ربحية - لا إعلانات ولا نظام حظر الاشتراك غير المدفوع على الإطلاق. قم بالتبرع
الأسئلة المتداولة
ما هي أجهزة التشفير الصوتي HiFi-GAN وGAN؟
HiFi-GAN عبارة عن مشفر صوتي توليدي عدائي يحول المخطط الطيفي الميل إلى شكل موجة صوتية خام على الفور تقريبًا، مما ينتج صوتًا بجودة الاستوديو بشكل أسرع بكثير من الوقت الحقيقي. لقد أصبحت المرحلة النهائية القياسية لتحويل النص إلى كلام حديث لأنها سريعة وخفيفة الوزن ويصعب تمييزها عن التسجيلات الحقيقية.
ما هي الوظيفة الأساسية لمشفر صوتي مثل HiFi-GAN في مسار تحويل النص إلى كلام؟
المشفر الصوتي هو المرحلة النهائية التي تقوم بتجميع عينات الشكل الموجي الفعلية من مخطط طيف الميل الذي ينتجه نموذج صوتي.
لماذا يعتبر HiFi-GAN أسرع بكثير من المشفر الصوتي WaveNet السابق؟
قامت WaveNet بإنشاء عينة صوتية على حدة (بشكل انحداري ذاتي)، بينما يقوم مولد التغذية الأمامية الخاص بـ HiFi-GAN بإخراج الشكل الموجي في طلقة واحدة، مما يحقق سرعة أسرع بكثير من الوقت الحقيقي.
ما الذي يساعده أداة التمييز متعدد الفترات في HiFi-GAN على وجه التحديد في الالتقاط؟
يقوم أداة التمييز متعدد الفترات بإعادة تشكيل شكل الموجة 1D إلى 2D باستخدام فترات ذات أرقام أولية لاكتشاف البنية الدورية المرتبطة بطبقة الصوت.
يتم تدريب المشفرين الصوتيين في GAN "بشكل عدائي". ماذا يعني ذلك هنا؟
في إعداد GAN، يتعلم المولد إنتاج أشكال موجية واقعية بما يكفي لخداع شبكات التمييز المدربة على تمييز الصوت الحقيقي من الصوت الاصطناعي.
أي مشفر صوتي لاحق يمتد HiFi-GAN لتعميم أفضل على الأصوات غير المرئية والغناء والآلات؟
يقوم BigVGAN بتوسيع نطاق HiFi-GAN وإضافة عمليات تنشيط دورية مصقولة، مما يحسن التعميم على الصوت خارج التوزيع مثل الغناء والآلات الموسيقية.
استمر في التعلم
أدلة ذات صلة
تم اختيار المزيد من الأدلة لهذا الموضوع