ضغط الصوت ترميز
EnCodec هو برنامج ترميز صوتي عصبي عالي الدقة من Meta والذي يضغط الكلام والموسيقى بمعدلات بت منخفضة جدًا بجودة تنافس التنسيقات الأثقل بكثير.
نظرة عامة
It matters because it underpins modern generative audio systems and ships in open-source form for anyone to use.
الغوص العميق
تم إصدار EnCodec بواسطة Meta AI في عام 2022، ويتبع مخطط SoundStream لجهاز التشفير، ومُكمم المتجهات المتبقية (RVQ)، ووحدة فك التشفير المدربة من البداية إلى النهاية، ولكنها تضيف العديد من التحسينات. ويستخدم جهاز تشفير تلافيفيًا قادرًا على البث، ومخططًا طيفيًا متعدد المقاييس، وخسائر إعادة بناء المجال الزمني، وأجهزة تمييز عدائية للجودة الإدراكية. المساهمة الملحوظة هي نموذج إنتروبيا صغير قائم على المحولات والذي يزيد من ضغط الرموز الكمية دون فقدان، مما يؤدي إلى ضغط البتات الإضافية دون فقدان الجودة. يقدم EnCodec أيضًا موازنًا يقوم تلقائيًا بقياس خسائر التدريب المتنافسة العديدة حتى تظل مستقرة. وهو يتعامل مع صوت أحادي الصوت بتردد 24 كيلو هرتز وصوت ستريو 48 كيلو هرتز، ويعمل عبر معدلات بت مثل 1.5 و3 و6 و12 كيلوبت في الثانية، ويصل بسرعة 6 كيلوبت في الثانية إلى جودة مماثلة لملفات MP3 بسرعة 64 كيلوبت في الثانية. تعمل الرموز المميزة الخاصة بها على تشغيل MusicGen وAudioGen الخاصين بـ Meta.
البصيرة الفنية
يقوم برنامج تشفير EnCodec باختزال شكل الموجة مع التلافيفات المتعرجة إلى تسلسل كامن، والذي يحوله RVQ إلى مؤشرات كتاب الرموز المكدسة. يتنبأ نموذج لغة Transformer خفيف الوزن باحتمالات هذه الرموز المميزة ورموزها الحسابية، مما يستعيد المزيد من الضغط مجانًا. يقوم موازن التدريب بإعادة قياس مساهمات التدرج من إعادة البناء، والخسائر الطيفية، والخصومة بحيث لا يهيمن أي مصطلح واحد، مما يحافظ على استقرار التدريب متعدد الأهداف عبر نطاق معدل البت الكامل.
التأثير الاستراتيجي
الوصول والوصول
يعمل على تحسين إمكانية الوصول من خلال واجهات النسخ والسرد والصوت.
التكلفة والميزانية
يمكن للفرق الإعلامية شحن الصوت المصقول بشكل أسرع بميزانيات أصغر.
السرعة والحجم
يمكن للأنظمة التي تواجه العملاء معالجة التفاعلات المنطوقة على نطاق أوسع.
مستقبل ضغط الصوت EnCodec
يعد EnCodec بالفعل هو الرمز المميز الافتراضي للعديد من نماذج الصوت التوليدية المفتوحة، ويدفع أحفاده إلى دقة أعلى بمعدلات بت أقل، وإعادة بناء الاستريو الكامل على مستوى الموسيقى، والتكامل الأكثر إحكامًا مع مولدات تحويل النص إلى صوت وتحويل النص إلى موسيقى. توقع اعتمادًا أوسع في الاتصالات ذات النطاق الترددي المنخفض، والبث في الوقت الفعلي، وكطبقة "الرمز الصوتي" القياسية التي تتيح للبنيات الكبيرة على طراز نموذج اللغة قراءة الصوت وكتابته.
التنفيذ في العالم الحقيقي
ترميز الصوت لمولدات تحويل النص إلى صوت من MusicGen وAudioGen الخاصة بـ Meta
ضغط خطاب 24 كيلو هرتز إلى 1.5-6 كيلوبت في الثانية لنقل النطاق الترددي المحدود
ترميز موسيقى استريو بتردد 48 كيلو هرتز بجودة قريبة من تنسيق MP3 بمعدلات بت أعلى بكثير
يعمل بمثابة برنامج ترميز مفتوح المصدر للبحث وخطوط تعلم الآلة الصوتية عبر نقاط التفتيش التي تم إصدارها
المخاطر والدرابزين
تزداد مخاطر إساءة استخدام الصوت وانتحال الشخصية عند فقدان الموافقة.
يمكن أن تنخفض الدقة عبر اللهجات أو اللهجات أو البيئات الصاخبة.
يمكن الخلط بين الصوت الاصطناعي والكلام الأصيل دون تصنيف واضح.
خارطة طريق التنفيذ
الحصول على موافقة صريحة لالتقاط الصوت واستنساخه وإعادة استخدامه.
اختبار الجودة عبر مكبرات الصوت المتنوعة وظروف الخلفية.
تحديد متى يجب على الإنسان مراجعة المخرجات أو الموافقة عليها.
قم بتسمية الصوت الاصطناعي واحتفظ بسجلات المصدر للمساءلة.
استمر في الاستكشاف
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the EnCodec Audio Compression quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
الدليل التالي
التضمين الصوتي وتعلم التمثيل
الأسئلة المتداولة
What is EnCodec Audio Compression?
EnCodec هو برنامج ترميز صوتي عصبي عالي الدقة من Meta والذي يضغط الكلام والموسيقى بمعدلات بت منخفضة جدًا بجودة تنافس التنسيقات الأثقل بكثير. إنه مهم لأنه يدعم أنظمة الصوت التوليدية الحديثة ويأتي في شكل مفتوح المصدر ليستخدمه أي شخص.
ما هي المنظمة التي أصدرت EnCodec؟
تم تقديم EnCodec بواسطة Meta AI (FAIR) في عام 2022 باعتباره برنامج ترميز صوتي عصبي عالي الدقة.
ما هو المكون الإضافي الذي يضيفه EnCodec للضغط بشكل أكبر على الرموز المميزة الخاصة به دون خسارة؟
يقوم EnCodec بتدريب محول صغير للتنبؤ باحتمالات الرمز المميز ورموزها الحسابية، مما يحقق ضغطًا إضافيًا بدون فقدان البيانات أعلى RVQ.
عند سرعة 6 كيلوبت في الثانية تقريبًا، تم الإبلاغ عن جودة EnCodec بأنها قابلة للمقارنة بجودة MP3 عند أي معدل بت تقريبًا؟
يصل EnCodec بسرعة 6 كيلوبت في الثانية إلى جودة ذاتية مماثلة لجودة MP3 بسرعة 64 كيلوبت في الثانية، وهو ما يمثل زيادة كبيرة في الكفاءة.
ما هي المشكلة التي يحلها "الموازن" الخاص بـ EnCodec أثناء التدريب؟
مع العديد من الخسائر (إعادة البناء، الطيفية، الخصومة)، يقوم الموازن بإعادة قياس تدرجاته بحيث لا يهيمن أي هدف واحد، مما يؤدي إلى استقرار التدريب.
ما هي طريقة التكميم الأساسية التي يشاركها EnCodec مع SoundStream؟
مثل SoundStream، يستخدم EnCodec تكميم المتجهات المتبقية لفصل تضمينات التشفير في مؤشرات كتاب الرموز المكدسة.