دليل الصوت AI
التدريب على التقليب الثابت
يعد التدريب الثابت على التقليب (PIT) بمثابة خدعة تدريب ذكية تتيح للنموذج فصل أصوات متعددة دون الاهتمام بفتحة الإخراج التي يصل إليها كل صوت.
استمع إلى هذا الدليلرواه الذكاء الاصطناعي · ~2 min
في هذه الصفحةقراءة لمدة دقيقتين
نظرة عامة
It solved a stubborn labeling problem that had blocked progress in speech separation.
الغوص العميق
عندما تقوم الشبكة بإخراج صوتين منفصلين، لا توجد قاعدة طبيعية يجب أن يكون الإخراج فيها "مكبر الصوت 1" مقابل "مكبر الصوت 2". إذا كان التدريب يتوقع دائمًا أن يكون المتحدث A في المخرج 1، لكن النموذج يضع A في المخرج 2، فسيتم معاقبته على الرغم من أن الفصل كان مثاليًا. تسببت "مشكلة تبديل الملصقات" هذه في قيام النماذج بإنتاج مخرجات متوسطة غير واضحة. تم تقديم PIT من قبل Dong Yu وزملائه في عام 2017، من خلال تجربة كل اقتران ممكن بين مخرجات النموذج والمصادر الحقيقية، وحساب الخطأ لكل منها، والاحتفاظ فقط بالتخصيص الأقل خطأ لتحديث النموذج. وبالتالي تتم مكافأة الشبكة على الانفصال النظيف بغض النظر عن الطلب، مما يجعل التدريب المتسق متعدد المتحدثين ناجحًا في النهاية.
التنفيذ في العالم الحقيقي
تدريب الشبكات العصبية على فصل اثنين أو أكثر من المتحدثين المتداخلين في تسجيلات الاجتماعات والمكالمات.
تشغيل أنظمة فصل الميكروفون الواحد المستخدمة كواجهة أمامية للتعرف على الكلام.
تمكين PIT على مستوى الكلام لإبقاء كل متحدث مخصصًا لقناة إخراج متسقة طوال المحادثة.
العمل كهدف تدريبي في نماذج الفصل المرجعية التي تم تقييمها على مجموعات البيانات مثل WSJ0-2mix.
مستقبل التدريب الثابت التقليب
يبقى PIT العمود الفقري لأبحاث الفصل، لكن الاتجاهات الأحدث تقلل من تكلفتها التوافقية وغموض الترتيب. تعمل أساليب مثل الفصل العودي على استخراج مكبر صوت واحد في كل مرة، وتتجنب أساليب المتحدث المستهدف التبديل تمامًا عن طريق التكييف على إشارة صوتية. تهدف مخططات المهام الإرشادية والقائمة على الرسم البياني إلى توسيع نطاق PIT إلى عدد أكبر ومتغير من المتحدثين. توقع أن تستمر أفكار نمط PIT حيثما يجب على النموذج أن ينتج مجموعة غير مرتبة من المخرجات، حتى خارج الصوت.
وضعها موضع التنفيذ
لماذا يهم
- الوصول والوصول. يعمل على تحسين إمكانية الوصول من خلال واجهات النسخ والسرد والصوت.
- التكلفة والميزانية. يمكن للفرق الإعلامية شحن الصوت المصقول بشكل أسرع بميزانيات أصغر.
- السرعة والحجم. يمكن للأنظمة التي تواجه العملاء معالجة التفاعلات المنطوقة على نطاق أوسع.
احترس من
- تزداد مخاطر إساءة استخدام الصوت وانتحال الشخصية عند فقدان الموافقة.
- يمكن أن تنخفض الدقة عبر اللهجات أو اللهجات أو البيئات الصاخبة.
- يمكن الخلط بين الصوت الاصطناعي والكلام الأصيل دون تصنيف واضح.
الخطوات التالية
- الحصول على موافقة صريحة لالتقاط الصوت واستنساخه وإعادة استخدامه.
- اختبار الجودة عبر مكبرات الصوت المتنوعة وظروف الخلفية.
- تحديد متى يجب على الإنسان مراجعة المخرجات أو الموافقة عليها.
- قم بتسمية الصوت الاصطناعي واحتفظ بسجلات المصدر للمساءلة.
استمر في الاستكشاف
رسالة إخبارية مجانية
احصل على الإحاطة اليومية لمنظمة العفو الدولية
ثلاث قصص تم التحقق منها بواسطة الذكاء الاصطناعي كل صباح من أيام الأسبوع، مكتوبة باللغة الإنجليزية البسيطة. مجاني للأبد، بدون إعلانات.
بريد إلكتروني واحد كل يوم من أيام الأسبوع. إلغاء الاشتراك بنقرة واحدة. نحن لا نبيع أو نشارك عنوانك أبدًا.
اختبر نفسك
Take the Permutation Invariant Training quiz
تعليقات فورية على كل إجابة، وشهادة قابلة للمشاركة مع معرف يمكن التحقق منه بمجرد اجتياز الدورة التدريبية.
دعم تعليم الذكاء الاصطناعي المجاني. AI Understanding هي منظمة 501(c)(3) غير ربحية - لا إعلانات ولا نظام حظر الاشتراك غير المدفوع على الإطلاق. قم بالتبرع
الأسئلة المتداولة
What is Permutation Invariant Training?
يعد التدريب الثابت على التقليب (PIT) بمثابة خدعة تدريب ذكية تتيح للنموذج فصل أصوات متعددة دون الاهتمام بفتحة الإخراج التي يصل إليها كل صوت. وقد حلت مشكلة التصنيف العنيدة التي أعاقت التقدم في فصل الكلام.
ما هي المشكلة الأساسية التي يحلها التدريب الثابت (PIT)؟
يعالج PIT مشكلة تبديل التسمية: لا يوجد سبب متأصل في أن الإخراج 1 يجب أن يكون مكبر الصوت A بدلاً من مكبر الصوت B.
كيف يقرر PIT الخطأ الذي يجب استخدامه عند تحديث النموذج؟
يقوم PIT بتقييم الخسارة لكل تبديل محتمل ويقوم بالانتشار العكسي فقط لتخصيص الحد الأدنى من الخسارة.
بدون حل مثل PIT، ما الذي كان يحدث لمخرجات نموذج الفصل؟
أرسلت العلامات غير المتسقة تدرجات متضاربة، مما دفع النموذج نحو تقديرات متوسطة ومشوهة للمتحدثين.
لفصل مكبرات الصوت N، ما عدد التباديل التي يجب أن يأخذها PIT في الاعتبار في كل خطوة؟
هناك ن! طرق لتعيين مخرجات N لمصادر N، وهذا هو السبب في أن توسيع نطاق PIT للعديد من السماعات يصبح مكلفًا.
ما هي الميزة التي يضيفها PIT (uPIT) على مستوى الكلام مقارنة بالمهمة على مستوى الإطار؟
يعمل uPIT على إصلاح تبديل واحد للكلام بأكمله، مما يمنع المتحدثين من تبديل القنوات في منتصف الجملة.
استمر في التعلم
أدلة ذات صلة
تم اختيار المزيد من الأدلة لهذا الموضوع