ساؤنڈ اسٹریم نیورل کوڈیک

ساؤنڈ اسٹریم Google کا اینڈ ٹو اینڈ نیورل آڈیو کوڈیک ہے جو کوالٹی کو محفوظ رکھتے ہوئے اسپیچ اور میوزک کو انتہائی کم بٹریٹس پر کمپریس کرتا ہے۔ یہ اہمیت رکھتا ہے کیونکہ یہ روایتی کوڈیکس جیسے Opus کو ایک ہی بٹ ریٹ پر مات دیتا ہے اور جدید جنریٹیو آڈیو ماڈلز کو طاقت دیتا ہے۔

2021 میں Google کے ذریعے متعارف کرایا گیا، SoundStream ایک مکمل نیورل کوڈیک ہے جو ایک ساتھ تربیت یافتہ تین ٹکڑوں سے بنایا گیا ہے: ایک convolutional encoder جو خام ویوفارم کو ویکٹرز کی ایک کمپیکٹ ترتیب میں بدل دیتا ہے، ایک بقایا ویکٹر کوانٹائزر (RVQ) جو کہ ویکٹر کو الگ کرتا ہے، لہر کی شکل کو دوبارہ تشکیل دیتا ہے۔ اسے تعمیر نو کے نقصانات اور GAN طرز کے مخالف امتیازی سلوک دونوں کے ساتھ تربیت دی جاتی ہے، لہذا آؤٹ پٹ صرف عددی طور پر قریب ہونے کی بجائے قدرتی لگتا ہے۔ اسٹینڈ آؤٹ فیچر 'اسکیل ایبل' یا کوانٹائزر ڈراپ آؤٹ ٹریننگ ہے: ایک ماڈل تقریباً 3 سے 18 کے بی پی ایس تک بِٹ ریٹ پر کام کر سکتا ہے محض تخمینہ کے لحاظ سے کم یا زیادہ کوانٹائزر پرتوں کا استعمال کر کے، بغیر کسی تربیت کے۔ 3 kbps پر یہ مبینہ طور پر ایک ماڈل میں سننے کے ٹیسٹ، اسپیچ، میوزک اور عام آڈیو کو سنبھالنے میں 12 kbps پر Opus کو پیچھے چھوڑ دیتا ہے جو اسمارٹ فون CPU پر ریئل ٹائم میں چل سکتا ہے۔