التاليالدليل التالي
التضمين الصوتي وتعلم التمثيل
الذكاء الاصطناعي الصوتي
دليل الصوت AI
ضغط الصوت ترميز
EnCodec هو برنامج ترميز صوتي عصبي عالي الدقة من Meta والذي يضغط الكلام والموسيقى بمعدلات بت منخفضة جدًا بجودة تنافس التنسيقات الأثقل بكثير.
استمع إلى هذا الدليلرواه الذكاء الاصطناعي · ~2 min
في هذه الصفحةقراءة لمدة دقيقتين
نظرة عامة
It matters because it underpins modern generative audio systems and ships in open-source form for anyone to use.
الغوص العميق
تم إصدار EnCodec بواسطة Meta AI في عام 2022، ويتبع مخطط SoundStream لجهاز التشفير، ومُكمم المتجهات المتبقية (RVQ)، ووحدة فك التشفير المدربة من البداية إلى النهاية، ولكنها تضيف العديد من التحسينات. ويستخدم جهاز تشفير تلافيفيًا قادرًا على البث، ومخططًا طيفيًا متعدد المقاييس، وخسائر إعادة بناء المجال الزمني، وأجهزة تمييز عدائية للجودة الإدراكية. المساهمة الملحوظة هي نموذج إنتروبيا صغير قائم على المحولات والذي يزيد من ضغط الرموز الكمية دون فقدان، مما يؤدي إلى ضغط البتات الإضافية دون فقدان الجودة. يقدم EnCodec أيضًا موازنًا يقوم تلقائيًا بقياس خسائر التدريب المتنافسة العديدة حتى تظل مستقرة. وهو يتعامل مع صوت أحادي الصوت بتردد 24 كيلو هرتز وصوت ستريو 48 كيلو هرتز، ويعمل عبر معدلات بت مثل 1.5 و3 و6 و12 كيلوبت في الثانية، ويصل بسرعة 6 كيلوبت في الثانية إلى جودة مماثلة لملفات MP3 بسرعة 64 كيلوبت في الثانية. تعمل الرموز المميزة الخاصة بها على تشغيل MusicGen وAudioGen الخاصين بـ Meta.
التنفيذ في العالم الحقيقي
ترميز الصوت لمولدات تحويل النص إلى صوت من MusicGen وAudioGen الخاصة بـ Meta
ضغط خطاب 24 كيلو هرتز إلى 1.5-6 كيلوبت في الثانية لنقل النطاق الترددي المحدود
ترميز موسيقى استريو بتردد 48 كيلو هرتز بجودة قريبة من تنسيق MP3 بمعدلات بت أعلى بكثير
يعمل بمثابة برنامج ترميز مفتوح المصدر للبحث وخطوط تعلم الآلة الصوتية عبر نقاط التفتيش التي تم إصدارها
مستقبل ضغط الصوت EnCodec
يعد EnCodec بالفعل هو الرمز المميز الافتراضي للعديد من نماذج الصوت التوليدية المفتوحة، ويدفع أحفاده إلى دقة أعلى بمعدلات بت أقل، وإعادة بناء الاستريو الكامل على مستوى الموسيقى، والتكامل الأكثر إحكامًا مع مولدات تحويل النص إلى صوت وتحويل النص إلى موسيقى. توقع اعتمادًا أوسع في الاتصالات ذات النطاق الترددي المنخفض، والبث في الوقت الفعلي، وكطبقة "الرمز الصوتي" القياسية التي تتيح للبنيات الكبيرة على طراز نموذج اللغة قراءة الصوت وكتابته.
وضعها موضع التنفيذ
لماذا يهم
- الوصول والوصول. يعمل على تحسين إمكانية الوصول من خلال واجهات النسخ والسرد والصوت.
- التكلفة والميزانية. يمكن للفرق الإعلامية شحن الصوت المصقول بشكل أسرع بميزانيات أصغر.
- السرعة والحجم. يمكن للأنظمة التي تواجه العملاء معالجة التفاعلات المنطوقة على نطاق أوسع.
احترس من
- تزداد مخاطر إساءة استخدام الصوت وانتحال الشخصية عند فقدان الموافقة.
- يمكن أن تنخفض الدقة عبر اللهجات أو اللهجات أو البيئات الصاخبة.
- يمكن الخلط بين الصوت الاصطناعي والكلام الأصيل دون تصنيف واضح.
الخطوات التالية
- الحصول على موافقة صريحة لالتقاط الصوت واستنساخه وإعادة استخدامه.
- اختبار الجودة عبر مكبرات الصوت المتنوعة وظروف الخلفية.
- تحديد متى يجب على الإنسان مراجعة المخرجات أو الموافقة عليها.
- قم بتسمية الصوت الاصطناعي واحتفظ بسجلات المصدر للمساءلة.
استمر في الاستكشاف
رسالة إخبارية مجانية
احصل على الإحاطة اليومية لمنظمة العفو الدولية
ثلاث قصص تم التحقق منها بواسطة الذكاء الاصطناعي كل صباح من أيام الأسبوع، مكتوبة باللغة الإنجليزية البسيطة. مجاني للأبد، بدون إعلانات.
بريد إلكتروني واحد كل يوم من أيام الأسبوع. إلغاء الاشتراك بنقرة واحدة. نحن لا نبيع أو نشارك عنوانك أبدًا.
اختبر نفسك
Take the EnCodec Audio Compression quiz
تعليقات فورية على كل إجابة، وشهادة قابلة للمشاركة مع معرف يمكن التحقق منه بمجرد اجتياز الدورة التدريبية.
دعم تعليم الذكاء الاصطناعي المجاني. AI Understanding هي منظمة 501(c)(3) غير ربحية - لا إعلانات ولا نظام حظر الاشتراك غير المدفوع على الإطلاق. قم بالتبرع
الأسئلة المتداولة
What is EnCodec Audio Compression?
EnCodec هو برنامج ترميز صوتي عصبي عالي الدقة من Meta والذي يضغط الكلام والموسيقى بمعدلات بت منخفضة جدًا بجودة تنافس التنسيقات الأثقل بكثير. إنه مهم لأنه يدعم أنظمة الصوت التوليدية الحديثة ويأتي في شكل مفتوح المصدر ليستخدمه أي شخص.
ما هي المنظمة التي أصدرت EnCodec؟
تم تقديم EnCodec بواسطة Meta AI (FAIR) في عام 2022 باعتباره برنامج ترميز صوتي عصبي عالي الدقة.
ما هو المكون الإضافي الذي يضيفه EnCodec للضغط بشكل أكبر على الرموز المميزة الخاصة به دون خسارة؟
يقوم EnCodec بتدريب محول صغير للتنبؤ باحتمالات الرمز المميز ورموزها الحسابية، مما يحقق ضغطًا إضافيًا بدون فقدان البيانات أعلى RVQ.
عند سرعة 6 كيلوبت في الثانية تقريبًا، تم الإبلاغ عن جودة EnCodec بأنها قابلة للمقارنة بجودة MP3 عند أي معدل بت تقريبًا؟
يصل EnCodec بسرعة 6 كيلوبت في الثانية إلى جودة ذاتية مماثلة لجودة MP3 بسرعة 64 كيلوبت في الثانية، وهو ما يمثل زيادة كبيرة في الكفاءة.
ما هي المشكلة التي يحلها "الموازن" الخاص بـ EnCodec أثناء التدريب؟
مع العديد من الخسائر (إعادة البناء، الطيفية، الخصومة)، يقوم الموازن بإعادة قياس تدرجاته بحيث لا يهيمن أي هدف واحد، مما يؤدي إلى استقرار التدريب.
ما هي طريقة التكميم الأساسية التي يشاركها EnCodec مع SoundStream؟
مثل SoundStream، يستخدم EnCodec تكميم المتجهات المتبقية لفصل تضمينات التشفير في مؤشرات كتاب الرموز المكدسة.
استمر في التعلم
أدلة ذات صلة
تم اختيار المزيد من الأدلة لهذا الموضوع