সাউন্ডস্ট্রিম নিউরাল কোডেক

সাউন্ডস্ট্রীম হল Google-এর এন্ড-টু-এন্ড নিউরাল অডিও কোডেক যা স্পিচ এবং মিউজিককে অত্যন্ত কম বিটরেটে সংকুচিত করে এবং গুণমান রক্ষা করে। এটি গুরুত্বপূর্ণ কারণ এটি একই বিটরেটে ওপাসের মতো ঐতিহ্যবাহী কোডেককে হারায় এবং আধুনিক জেনারেটিভ অডিও মডেলগুলিকে শক্তি দেয়৷

2021 সালে Google দ্বারা প্রবর্তিত, সাউন্ডস্ট্রিম হল একটি সম্পূর্ণ নিউরাল কোডেক যা একসঙ্গে প্রশিক্ষিত তিনটি টুকরো থেকে তৈরি করা হয়েছে: একটি কনভোল্যুশনাল এনকোডার যা কাঁচা তরঙ্গরূপকে ভেক্টরের একটি কমপ্যাক্ট সিকোয়েন্সে পরিণত করে, একটি অবশিষ্ট ভেক্টর কোয়ান্টাইজার (RVQ) যা ভেক্টরকে ডিসক্রিয়েশন করে তরঙ্গরূপ পুনর্গঠন করে। এটি পুনর্গঠনের ক্ষতি এবং একটি GAN-শৈলীর প্রতিকূল বৈষম্যকারী উভয়ের সাথেই প্রশিক্ষিত, তাই আউটপুট শুধুমাত্র সংখ্যাগতভাবে কাছাকাছি না হয়ে স্বাভাবিক বলে মনে হয়। একটি স্ট্যান্ডআউট বৈশিষ্ট্য হল 'স্কেলেবল' বা কোয়ান্টাইজার-ড্রপআউট প্রশিক্ষণ: একটি একক মডেল প্রায় 3 থেকে 18 কেবিপিএস পর্যন্ত বিটরেট জুড়ে কাজ করতে পারে কেবলমাত্র অনুমানে আরও বা কম কোয়ান্টাইজার স্তর ব্যবহার করে, কোনো পুনরায় প্রশিক্ষণ ছাড়াই। 3 কেবিপিএস-এ এটি একটি স্মার্টফোন সিপিইউতে রিয়েল টাইমে চলতে পারে এমন একটি মডেলে শোনার পরীক্ষা, বক্তৃতা, সঙ্গীত এবং সাধারণ অডিও পরিচালনার ক্ষেত্রে 12 kbps-এ Opus-কে ছাড়িয়ে যায়।