নিউরাল অডিও কোডেক

They both crush bandwidth for calls and streaming and provide the token vocabulary that audio language models speak.

একটি নিউরাল অডিও কোডেক হল একটি এনকোডার-ডিকোডার নিউরাল নেটওয়ার্ক যা অডিও সংকুচিত করতে এবং এটিকে পুনর্নির্মাণ করতে প্রশিক্ষিত। এনকোডার একটি তরঙ্গরূপকে একটি কমপ্যাক্ট সুপ্তে পরিণত করে, একটি কোয়ান্টাইজার স্ন্যাপ করে যা বিচ্ছিন্ন টোকেন তৈরি করে শেখা কোডবুকের এন্ট্রিগুলিতে সুপ্ত থাকে এবং ডিকোডার তরঙ্গরূপটিকে পুনর্গঠন করে। মূল কৌশলটি হল রেসিডুয়াল ভেক্টর কোয়ান্টাইজেশন (RVQ), যা Google এর সাউন্ডস্ট্রিম এবং Meta এর এনকোডেক দ্বারা ব্যবহৃত হয়: বেশ কয়েকটি কোডবুক স্ট্যাক করা হয়েছে, প্রতিটিতে আগের থেকে থাকা ত্রুটিটিকে এনকোড করা হয়েছে, তাই আপনি বেশি বা কম কোডবুক ব্যবহার করে মানের জন্য বিটরেট ট্রেড করতে পারেন৷ এই মডেলগুলি খুব কম বিটরেটে চিত্তাকর্ষক গুণমানে পৌঁছায়, কখনও কখনও প্রতি সেকেন্ডে কয়েক কিলোবিট, Opus বা MP3-এর মতো ক্লাসিক কোডেকগুলিকে পরাজিত করে৷ গুরুত্বপূর্ণভাবে, VALL-E এবং MusicGen-এর মতো মডেলগুলি যা তৈরি করে তা হল আলাদা টোকেনগুলি৷