برامج ترميز الصوت العصبية

They both crush bandwidth for calls and streaming and provide the token vocabulary that audio language models speak.

برنامج ترميز الصوت العصبي عبارة عن شبكة عصبية لوحدة تشفير وفك ترميز تم تدريبها على ضغط الصوت وإعادة بنائه. يقوم جهاز التشفير بتحويل شكل موجة إلى شكل كامن مدمج، ويقوم جهاز قياس الكمية بالتقاط هذا الكم الكامن للإدخالات في كتب الشفرات المستفادة مما ينتج رموزًا منفصلة، ​​ويقوم جهاز فك التشفير بإعادة بناء شكل الموجة. التقنية الأساسية هي تكمية المتجهات المتبقية (RVQ)، التي يستخدمها SoundStream الخاص بـ Google وEnCodec الخاص بـ Meta: يتم تجميع العديد من كتب الشفرات، كل منها يقوم بترميز الخطأ الذي خلفه السابق، حتى تتمكن من استبدال معدل البت بالجودة باستخدام عدد أكبر أو أقل من كتب الشفرات. تصل هذه النماذج إلى جودة مذهلة بمعدلات بت منخفضة للغاية، وأحيانًا بضعة كيلوبتات في الثانية، متفوقة على برامج الترميز الكلاسيكية مثل Opus أو MP3. والأهم من ذلك، أن الرموز المنفصلة هي بالضبط ما تنشئه نماذج مثل VALL-E وMusicGen.