دليل الصوت AI
التضمين الصوتي وتعلم التمثيل
تعمل عمليات التضمين الصوتي على تحويل الصوت إلى نواقل رقمية مدمجة تلتقط المعنى، بحيث تتمكن الآلات من مقارنة الصوت والبحث فيه وتصنيفه بنفس الطريقة التي يتعرف بها البشر على صوت أو أغنية مألوفة.
استمع إلى هذا الدليلرواه الذكاء الاصطناعي · ~2 min
في هذه الصفحةقراءة لمدة دقيقتين
نظرة عامة
They are the hidden engine behind speech recognition, music recommendation, and sound search.
الغوص العميق
تضمين الصوت عبارة عن قائمة ذات طول ثابت من الأرقام (متجه) تمثل مقطعًا من الصوت بطريقة تضع الأصوات المتشابهة بالقرب من بعضها البعض في الفضاء الرياضي. تسجيلان لنفس الكلمة، أو أغنيتين من نفس النوع، ينتهي بهما الأمر بالقرب من بعضهما البعض حتى لو كانت أشكالهما الموجية الأولية تبدو مختلفة تمامًا. تتعلم النماذج هذه التضمينات من خلال التدريب على كميات هائلة من الصوت، غالبًا بدون تسميات بشرية. تتعلم الأنظمة ذاتية الإشراف مثل Wav2Vec 2.0 وHuBERT وCLAP من خلال توقع المقاطع الصوتية المقنعة أو المتباينة. بمجرد التدريب، يمكن إعادة استخدام نفس التضمينات في العديد من المهام النهائية (معرف المتحدث، والعاطفة، ووضع علامات على الموسيقى) مع القليل جدًا من البيانات الإضافية المصنفة، وهذا هو سبب أهمية التعلم التمثيلي.
التنفيذ في العالم الحقيقي
تستخدم تطبيقات الموسيقى مثل Spotify التضمينات للتوصية بالأغاني التي "تبدو متشابهة" حتى عبر الأنواع ولدعم بصمة الصوت.
تقوم التطبيقات ذات نمط Shazam بمطابقة التسجيل الصاخب مع المسار من خلال مقارنة بصمات الأصابع المضمنة بدلاً من الصوت الخام.
تستخدم مكبرات الصوت والهواتف الذكية تضمينات السماعات (بصمات الصوت) للتمييز بين أفراد الأسرة وتخصيص الاستجابات.
تستخدم مراكز الاتصال وأدوات الاجتماعات التضمينات لتسجيل مذكرات المتحدث، وتحديد من تحدث أثناء التسجيل.
مستقبل التضمين الصوتي وتعلم التمثيل
توقع أن تصبح عمليات تضمين الصوت متعددة الوسائط بشكل متزايد، ومدمجة مع النص والفيديو بحيث يفهم النموذج الواحد صوت المشهد والكلمات والمرئيات معًا. تعمل مساحات اللغة الصوتية المشتركة مثل CLAP على تمكين البحث الصوتي باللغة الطبيعية ("اعثر على كلب ينبح بالقرب من حركة المرور"). ستعمل نماذج التضمين الأصغر حجمًا على الجهاز على تشغيل الميزات الصوتية الخاصة وغير المتصلة بالإنترنت على الهواتف وسماعات الأذن، بينما يستمر التدريب المسبق الأكثر ثراءً الخاضع للإشراف الذاتي في تقليل كمية البيانات المصنفة اللازمة للغات الجديدة والأحداث الصوتية النادرة.
وضعها موضع التنفيذ
لماذا يهم
- الوصول والوصول. يعمل على تحسين إمكانية الوصول من خلال واجهات النسخ والسرد والصوت.
- التكلفة والميزانية. يمكن للفرق الإعلامية شحن الصوت المصقول بشكل أسرع بميزانيات أصغر.
- السرعة والحجم. يمكن للأنظمة التي تواجه العملاء معالجة التفاعلات المنطوقة على نطاق أوسع.
احترس من
- تزداد مخاطر إساءة استخدام الصوت وانتحال الشخصية عند فقدان الموافقة.
- يمكن أن تنخفض الدقة عبر اللهجات أو اللهجات أو البيئات الصاخبة.
- يمكن الخلط بين الصوت الاصطناعي والكلام الأصيل دون تصنيف واضح.
الخطوات التالية
- الحصول على موافقة صريحة لالتقاط الصوت واستنساخه وإعادة استخدامه.
- اختبار الجودة عبر مكبرات الصوت المتنوعة وظروف الخلفية.
- تحديد متى يجب على الإنسان مراجعة المخرجات أو الموافقة عليها.
- قم بتسمية الصوت الاصطناعي واحتفظ بسجلات المصدر للمساءلة.
استمر في الاستكشاف
رسالة إخبارية مجانية
احصل على الإحاطة اليومية لمنظمة العفو الدولية
ثلاث قصص تم التحقق منها بواسطة الذكاء الاصطناعي كل صباح من أيام الأسبوع، مكتوبة باللغة الإنجليزية البسيطة. مجاني للأبد، بدون إعلانات.
بريد إلكتروني واحد كل يوم من أيام الأسبوع. إلغاء الاشتراك بنقرة واحدة. نحن لا نبيع أو نشارك عنوانك أبدًا.
اختبر نفسك
Take the Audio Embeddings and Representation Learning quiz
تعليقات فورية على كل إجابة، وشهادة قابلة للمشاركة مع معرف يمكن التحقق منه بمجرد اجتياز الدورة التدريبية.
دعم تعليم الذكاء الاصطناعي المجاني. AI Understanding هي منظمة 501(c)(3) غير ربحية - لا إعلانات ولا نظام حظر الاشتراك غير المدفوع على الإطلاق. قم بالتبرع
الأسئلة المتداولة
What is Audio Embeddings and Representation Learning?
تعمل عمليات التضمين الصوتي على تحويل الصوت إلى نواقل رقمية مدمجة تلتقط المعنى، بحيث تتمكن الآلات من مقارنة الصوت والبحث فيه وتصنيفه بنفس الطريقة التي يتعرف بها البشر على صوت أو أغنية مألوفة. إنها المحرك المخفي وراء التعرف على الكلام، والتوصية بالموسيقى، والبحث الصوتي.
ما هو التضمين الصوتي؟
التضمين عبارة عن ناقل رقمي كثيف يضع مقاطع صوتية متشابهة بالقرب من بعضها البعض في الفضاء الرياضي، مما يلتقط المعنى بدلاً من مجرد عينات أولية.
لماذا يعد التعلم الخاضع للإشراف الذاتي مهمًا جدًا للتضمين الصوتي؟
تتعلم أساليب الإشراف الذاتي مثل Wav2Vec 2.0 وHuBERT من كميات هائلة من الصوت غير المسمى، لذا تحتاج المهام النهائية إلى بيانات أقل بكثير.
كيف يتعلم Wav2Vec 2.0 أثناء التدريب المسبق؟
يستخدم Wav2Vec 2.0 هدفًا مقنعًا ومتناقضًا: فهو يخفي مساحات من الصوت ويتعلم كيفية تحديد الوحدة الكامنة الصحيحة مقابل عناصر التشتيت.
ما الذي يتماشى مع نموذج مثل CLAP في مساحة التضمين المشتركة؟
يتعلم CLAP (التدريب المسبق للغة الصوتية والتباينية) مساحة مشتركة حيث تقترب المقاطع الصوتية وأوصافها النصية من بعضها البعض، مما يتيح البحث الصوتي القائم على النص.
قبل تغذية الصوت إلى شبكة عصبية، ما هو التحويل الشائع الذي يتم تطبيقه غالبًا؟
تحتوي الأشكال الموجية الأولية على ملايين العينات، لذلك عادةً ما يتم تحويل الصوت إلى مخططات طيفية أو تمريره عبر مرشحات الواجهة الأمامية المستفادة قبل الشبكة الرئيسية.
استمر في التعلم
أدلة ذات صلة
تم اختيار المزيد من الأدلة لهذا الموضوع