সাউন্ডস্ট্রিম নিউরাল কোডেক
সাউন্ডস্ট্রীম হল Google-এর এন্ড-টু-এন্ড নিউরাল অডিও কোডেক যা স্পিচ এবং মিউজিককে অত্যন্ত কম বিটরেটে সংকুচিত করে এবং গুণমান রক্ষা করে।
ওভারভিউ
It matters because it beats traditional codecs like Opus at the same bitrate and powers modern generative audio models.
গভীর ডুব
2021 সালে Google দ্বারা প্রবর্তিত, সাউন্ডস্ট্রিম হল একটি সম্পূর্ণ নিউরাল কোডেক যা একসঙ্গে প্রশিক্ষিত তিনটি টুকরো থেকে তৈরি করা হয়েছে: একটি কনভোল্যুশনাল এনকোডার যা কাঁচা তরঙ্গরূপকে ভেক্টরের একটি কমপ্যাক্ট সিকোয়েন্সে পরিণত করে, একটি অবশিষ্ট ভেক্টর কোয়ান্টাইজার (RVQ) যা ভেক্টরকে ডিসক্রিয়েশন করে তরঙ্গরূপ পুনর্গঠন করে। এটি পুনর্গঠনের ক্ষতি এবং একটি GAN-শৈলীর প্রতিকূল বৈষম্যকারী উভয়ের সাথেই প্রশিক্ষিত, তাই আউটপুট শুধুমাত্র সংখ্যাগতভাবে কাছাকাছি না হয়ে স্বাভাবিক বলে মনে হয়। একটি স্ট্যান্ডআউট বৈশিষ্ট্য হল 'স্কেলেবল' বা কোয়ান্টাইজার-ড্রপআউট প্রশিক্ষণ: একটি একক মডেল প্রায় 3 থেকে 18 কেবিপিএস পর্যন্ত বিটরেট জুড়ে কাজ করতে পারে কেবলমাত্র অনুমানে আরও বা কম কোয়ান্টাইজার স্তর ব্যবহার করে, কোনো পুনরায় প্রশিক্ষণ ছাড়াই। 3 কেবিপিএস-এ এটি একটি স্মার্টফোন সিপিইউতে রিয়েল টাইমে চলতে পারে এমন একটি মডেলে শোনার পরীক্ষা, বক্তৃতা, সঙ্গীত এবং সাধারণ অডিও পরিচালনার ক্ষেত্রে 12 kbps-এ Opus-কে ছাড়িয়ে যায়।
প্রযুক্তিগত অন্তর্দৃষ্টি
তরঙ্গরূপটি স্ট্রাইডেড কনভোলিউশনের মধ্য দিয়ে যায় যা ভারীভাবে নমুনা করে, প্রতি ফ্রেমে একটি এমবেডিং তৈরি করে (যেমন 75 ফ্রেম/সেকেন্ড)। RVQ তারপর কোডবুক সূচকের স্ট্যাক হিসাবে প্রতিটি এমবেডিংকে এনকোড করে। বিটরেট কোডবুক প্রতি সক্রিয় কোয়ান্টাইজারের সংখ্যার বার বিটের ফ্রেম হারের সমান। কোয়ান্টাইজার ড্রপআউট প্রশিক্ষণের সময় এলোমেলোভাবে RVQ স্ট্যাককে ছেঁটে ফেলে, আগের কোডবুকগুলিকে সবচেয়ে গুরুত্বপূর্ণ তথ্য বহন করতে বাধ্য করে যাতে কোডেক কম হারে সুন্দরভাবে হ্রাস পায়।
কৌশলগত প্রভাব
অ্যাক্সেস এবং পৌঁছানো
এটি ট্রান্সক্রিপশন, বর্ণনা এবং ভয়েস ইন্টারফেসের মাধ্যমে অ্যাক্সেসযোগ্যতা উন্নত করে।
খরচ ও বাজেট
মিডিয়া দলগুলি ছোট বাজেটের সাথে পালিশ করা অডিও দ্রুত পাঠাতে পারে।
গতি এবং স্কেল
গ্রাহক-মুখী সিস্টেমগুলি বৃহত্তর স্কেলে কথ্য মিথস্ক্রিয়া প্রক্রিয়া করতে পারে।
সাউন্ডস্ট্রিম নিউরাল কোডেক এর ভবিষ্যত
সাউন্ডস্ট্রিম একটি টেমপ্লেট প্রতিষ্ঠা করে যা পরবর্তীতে এনকোডেক এবং ডিএসি-এর মতো কোডেকগুলিকে পরিমার্জিত করে এবং এর বিচ্ছিন্ন টোকেনগুলি অডিওএলএম এবং মিউজিকএলএম-এর মতো জেনারেটিভ সিস্টেমগুলির জন্য সাবস্ট্রেট হয়ে ওঠে। অপেক্ষা করুন বংশধররা আরও কম বিটরেটের দিকে ঠেলে দেবে, শব্দার্থগতভাবে স্ট্রাকচার্ড টোকেন যা ভাষা-মডেল-স্টাইল অডিও জেনারেটরের ইনপুট হিসাবে দ্বিগুণ হবে এবং লাইভ কল, শ্রবণ সহায়ক এবং স্ট্রিমিং যেখানে ব্যান্ডউইথ এবং লেটেন্সি শক্তভাবে সীমাবদ্ধ থাকবে তার জন্য ডিভাইসে আরও কঠোর স্থাপনা।
বাস্তব-বিশ্ব বাস্তবায়ন
উচ্চতর বিটরেটে লিগ্যাসি কোডেকগুলির থেকে স্পষ্ট শোনার সময় ভয়েস কলগুলিকে ~3 kbps-তে কম্প্রেস করা
Google এর অডিওএলএম এবং মিউজিকএলএম জেনারেটিভ মডেলগুলিকে ফিড করে এমন বিচ্ছিন্ন অডিও টোকেন তৈরি করা হচ্ছে
অন-সিপিইউ এনকোডিং এবং ডিকোডিং সহ মোবাইল ডিভাইসে রিয়েল-টাইম কম ব্যান্ডউইথ অডিও স্ট্রিমিং
একটি একক মডেলে দক্ষতার সাথে সঙ্গীত এবং পরিবেষ্টিত শব্দ সংরক্ষণ করা বা প্রেরণ করা যা সমস্ত সামগ্রীর ধরন পরিচালনা করে
ঝুঁকি এবং প্রহরী
সম্মতি অনুপস্থিত হলে ভয়েস অপব্যবহার এবং ছদ্মবেশের ঝুঁকি বেড়ে যায়।
উচ্চারণ, উপভাষা বা কোলাহলপূর্ণ পরিবেশে যথার্থতা হ্রাস পেতে পারে।
সিন্থেটিক অডিও পরিষ্কার লেবেল ছাড়া খাঁটি বক্তৃতা হিসাবে ভুল হতে পারে।
বাস্তবায়ন রোডম্যাপ
ভয়েস ক্যাপচার, ক্লোনিং এবং পুনঃব্যবহারের জন্য সুস্পষ্ট সম্মতি পান।
বিভিন্ন স্পিকার এবং ব্যাকগ্রাউন্ড কন্ডিশন জুড়ে মান পরীক্ষা করুন।
কখন একজন মানুষকে আউটপুট পর্যালোচনা বা অনুমোদন করতে হবে তা নির্ধারণ করুন।
সিন্থেটিক অডিও লেবেল করুন এবং দায়বদ্ধতার জন্য মূল রেকর্ড রাখুন।
অন্বেষণ চালিয়ে যান
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the SoundStream Neural Codec quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
পরবর্তী গাইড
নিউরাল অডিও কোডেক
প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী
What is SoundStream Neural Codec?
সাউন্ডস্ট্রীম হল Google-এর এন্ড-টু-এন্ড নিউরাল অডিও কোডেক যা স্পিচ এবং মিউজিককে অত্যন্ত কম বিটরেটে সংকুচিত করে এবং গুণমান রক্ষা করে। এটি গুরুত্বপূর্ণ কারণ এটি একই বিটরেটে ওপাসের মতো ঐতিহ্যবাহী কোডেককে হারায় এবং আধুনিক জেনারেটিভ অডিও মডেলগুলিকে শক্তি দেয়৷
কোন তিনটি উপাদান সাউন্ডস্ট্রিম আর্কিটেকচার তৈরি করে?
সাউন্ডস্ট্রীম একটি কনভোলিউশনাল এনকোডার থেকে তৈরি করা হয়েছে, একটি অবশিষ্ট ভেক্টর কোয়ান্টাইজার যা এম্বেডিংগুলিকে বিচ্ছিন্ন করে এবং একটি কনভোলিউশনাল ডিকোডার, সমস্ত প্রশিক্ষিত প্রান্ত থেকে শেষ পর্যন্ত।
কোন কৌশলটি একটি একক সাউন্ডস্ট্রিম মডেলকে পুনরায় প্রশিক্ষণ ছাড়াই বিভিন্ন বিটরেট পরিবেশন করতে দেয়?
প্রশিক্ষণের সময়, সাউন্ডস্ট্রিম এলোমেলোভাবে কোয়ান্টাইজার স্তরগুলি ড্রপ করে যাতে অনুমানে আপনি একটি মডেল থেকে বিভিন্ন বিটরেট হিট করতে আরও বা কম RVQ স্তর ব্যবহার করতে পারেন।
Google-এর লিসেনিং টেস্টে, 3 kbps-এ সাউন্ডস্ট্রিম 12 kbps-এ কোন কোডেককে ছাড়িয়ে গেছে বলে রিপোর্ট করা হয়েছিল?
সাউন্ডস্ট্রিম মাত্র 3 কেবিপিএস-এ সাবজেক্টিভ মানের মূল্যায়নে 12 কেবিপিএস-এ চলমান ব্যাপকভাবে ব্যবহৃত ওপাস কোডেককে মেলে বা হারায়।
আউটপুট শব্দ প্রাকৃতিক করতে সাউন্ডস্ট্রিম কোন ধরনের অতিরিক্ত প্রশিক্ষণ সংকেত ব্যবহার করে?
পুনর্গঠনের ক্ষতির বাইরে, সাউন্ডস্ট্রিম প্রতিপক্ষের (GAN) বৈষম্যকারী ব্যবহার করে যাতে পুনর্গঠনগুলি কেবল সংখ্যাগতভাবে কাছাকাছি না হয়ে উপলব্ধিগতভাবে বাস্তবসম্মত বলে মনে হয়।
সাউন্ডস্ট্রিমের বিটরেট কীভাবে এর কোয়ান্টাইজারের সাথে সম্পর্কিত?
সক্রিয় RVQ স্তরগুলির সংখ্যা সহ বিটরেট স্কেল (কোডবুক প্রতি বার ফ্রেম রেট বার বিট), তাই কোয়ান্টাইজার যোগ করা বিটরেট এবং গুণমান বাড়ায়।