التاليالدليل التالي
Demucs فصل مصدر الموسيقى
الذكاء الاصطناعي الصوتي
دليل الصوت AI
فصل الكلام ومشكلة حفل الكوكتيل
فصل الكلام هو مهمة فصل الأصوات الفردية عن التسجيل الذي يتحدث فيه عدة أشخاص في وقت واحد.
استمع إلى هذا الدليلرواه الذكاء الاصطناعي · ~2 min
في هذه الصفحةقراءة لمدة دقيقتين
نظرة عامة
إنه يعالج "مشكلة حفل الكوكتيل" التي يحلها البشر دون عناء ولكن الآلات تجدها صعبة للغاية.
الغوص العميق
في حفلة صاخبة، يمكنك التركيز على محادثة واحدة مع تصفية بقية المحادثات، وهي قدرة أطلق عليها عالم النفس كولن شيري اسم "مشكلة حفلة الكوكتيل" في عام 1953. تواجه أجهزة الكمبيوتر صعوبة لأن الأصوات المتداخلة تندمج في شكل موجة واحد، ولا يعرف النظام مسبقًا عدد المتحدثين الموجودين أو الصوت الذي ينتمي إليه. تأخذ خوارزميات فصل الكلام هذا الصوت المختلط وتخرج مسارًا منفصلاً ونظيفًا لكل متحدث. استخدمت الأساليب المبكرة الأساليب الإحصائية ومصفوفات الميكروفون لاستغلال الإشارات المكانية. وجاء هذا الإنجاز مع نماذج التعلم العميق مثل Deep Clustering وTasNet/Conv-TasNet، التي تتعلم كيفية إخفاء أو إعادة بناء كل صوت مباشرة من الشكل الموجي، حتى باستخدام ميكروفون واحد.
التنفيذ في العالم الحقيقي
تعمل أدوات تحويل الصوت إلى نص على فصل المتحدثين المتداخلين بحيث يتم نسب كلمات كل شخص بشكل صحيح في الملاحظات.
تعمل أدوات السمع المتقدمة على عزل متحدث واحد في مطعم مزدحم لتسهيل المحادثة على مرتديها.
يستخدم إنتاج الموسيقى والبودكاست الفصل لفصل الأصوات عن الآلات أو فك تشابك الحديث بين المضيفين.
تعمل خطوط أنابيب التعرف على الكلام على فصل الصوت المختلط مسبقًا بحيث يمكن نسخ كل صوت بدقة.
مستقبل فصل الكلام ومشكلة حفل الكوكتيل
يتجه الانفصال نحو ظروف العالم الحقيقي المفتوحة: أعداد غير معروفة ومتغيرة من مكبرات الصوت، وغرف صدى، وتدفق صوتي مستمر. استخراج مكبر الصوت المستهدف، حيث تعطي النموذج عينة صوتية قصيرة لسحب هذا الشخص فقط، آخذ في الارتفاع بسرعة. تستخدم النماذج السمعية والبصرية المدمجة حركات الشفاه لتوضيح الأصوات. توقع هذه الإمكانات المضمنة في أدوات السمع وسماعات الأذن وتسجيل الاجتماعات، مما يسمح للأجهزة بتسليط الضوء على من تريد سماعه.
وضعها موضع التنفيذ
لماذا يهم
- الوصول والوصول. يعمل على تحسين إمكانية الوصول من خلال واجهات النسخ والسرد والصوت.
- التكلفة والميزانية. يمكن للفرق الإعلامية شحن الصوت المصقول بشكل أسرع بميزانيات أصغر.
- السرعة والحجم. يمكن للأنظمة التي تواجه العملاء معالجة التفاعلات المنطوقة على نطاق أوسع.
احترس من
- تزداد مخاطر إساءة استخدام الصوت وانتحال الشخصية عند فقدان الموافقة.
- يمكن أن تنخفض الدقة عبر اللهجات أو اللهجات أو البيئات الصاخبة.
- يمكن الخلط بين الصوت الاصطناعي والكلام الأصيل دون تصنيف واضح.
الخطوات التالية
- الحصول على موافقة صريحة لالتقاط الصوت واستنساخه وإعادة استخدامه.
- اختبار الجودة عبر مكبرات الصوت المتنوعة وظروف الخلفية.
- تحديد متى يجب على الإنسان مراجعة المخرجات أو الموافقة عليها.
- قم بتسمية الصوت الاصطناعي واحتفظ بسجلات المصدر للمساءلة.
استمر في الاستكشاف
رسالة إخبارية مجانية
احصل على الإحاطة اليومية لمنظمة العفو الدولية
ثلاث قصص تم التحقق منها بواسطة الذكاء الاصطناعي كل صباح من أيام الأسبوع، مكتوبة باللغة الإنجليزية البسيطة. مجاني للأبد، بدون إعلانات.
بريد إلكتروني واحد كل يوم من أيام الأسبوع. إلغاء الاشتراك بنقرة واحدة. نحن لا نبيع أو نشارك عنوانك أبدًا.
اختبر نفسك
Take the Speech Separation and the Cocktail Party Problem quiz
تعليقات فورية على كل إجابة، وشهادة قابلة للمشاركة مع معرف يمكن التحقق منه بمجرد اجتياز الدورة التدريبية.
دعم تعليم الذكاء الاصطناعي المجاني. AI Understanding هي منظمة 501(c)(3) غير ربحية - لا إعلانات ولا نظام حظر الاشتراك غير المدفوع على الإطلاق. قم بالتبرع
الأسئلة المتداولة
ما هو فصل الكلام ومشكلة حفل الكوكتيل؟
فصل الكلام هو مهمة فصل الأصوات الفردية عن التسجيل الذي يتحدث فيه عدة أشخاص في وقت واحد. إنه يعالج "مشكلة حفل الكوكتيل" التي يحلها البشر دون عناء ولكن الآلات تجدها صعبة للغاية.
ما هي "مشكلة حفل الكوكتيل"؟
صاغها كولن شيري في عام 1953، وهي تصف التحدي المتمثل في الاهتمام بمتحدث واحد عندما يتحدث العديد من الأشخاص في وقت واحد.
ما هو مخرج نظام فصل الكلام في حالة تسجيل مختلط لعدة مكبرات صوت؟
وينتج عن الانفصال تيارًا نظيفًا واحدًا لكل مكبر صوت، مما يؤدي إلى فك تشابك الأصوات المتداخلة في الخليط.
ما الذي تفعله Conv-TasNet بشكل مختلف عن العديد من طرق الفصل السابقة؟
تستخدم Conv-TasNet أداة تشفير مدروسة للصوت الخام بدلاً من مخطط طيفي ثابت، مما يتيح فصلًا عالي الدقة وزمن وصول منخفض.
كيف تقوم العديد من شبكات الفصل بعزل الصوت الفردي عن الخليط؟
يتنبأ النموذج بوجود قناع لكل مكبر صوت؛ إن تطبيقه على الخليط يحافظ على محتوى المتحدث ويمنع الباقي.
ما هو "استخراج المتحدث المستهدف"؟
بدلاً من فصل الجميع، يمكنك توفير إشارة صوتية ويقوم النموذج باستخراج المتحدث المستهدف فقط.
استمر في التعلم
أدلة ذات صلة
تم اختيار المزيد من الأدلة لهذا الموضوع