VALL-E এবং কোডেক ভাষার মডেল

VALL-E অডিও কোডেক টোকেনগুলির উপর একটি ভাষা মডেলিং সমস্যা হিসাবে টেক্সট-টু-স্পীচ রিফ্রেম করেছে, একটি নমুনার মাত্র তিন সেকেন্ড থেকে ভয়েস ক্লোনিং সক্ষম করে৷ এটি দেখিয়েছে যে একই পরবর্তী টোকেন ভবিষ্যদ্বাণী শক্তি প্রদানকারী পাঠ্য এলএলএমগুলি উল্লেখযোগ্যভাবে প্রাকৃতিক, অভিব্যক্তিপূর্ণ বক্তৃতা তৈরি করতে পারে।

2023 সালের গোড়ার দিকে Microsoft দ্বারা ঘোষিত, VALL-E ভাষা মডেলিংয়ের মতো বক্তৃতা সংশ্লেষণকে বিবেচনা করে। একটি স্পেকট্রোগ্রাম ভবিষ্যদ্বাণী করার পরিবর্তে, এটি একটি নিউরাল কোডেক (এনকোডেক) এর বিচ্ছিন্ন অ্যাকোস্টিক টোকেনগুলির ভবিষ্যদ্বাণী করে, তাই প্রজন্ম একটি অডিও শব্দভান্ডারের পরবর্তী টোকেন ভবিষ্যদ্বাণীতে পরিণত হয়। একটি অদেখা স্পিকার প্লাস টার্গেট টেক্সটের একটি 3-সেকেন্ডের রেকর্ডিং দেওয়া, VALL-E সেই স্পিকারের কণ্ঠে চলতে থাকে, কাঠ এবং এমনকি অ্যাকোস্টিক পরিবেশ সংরক্ষণ করে। এটিকে প্রায় 60,000 ঘন্টার বক্তৃতায় প্রশিক্ষণ দেওয়া হয়েছিল, যা সাধারণ TTS ডেটাসেটের চেয়ে অনেক বেশি, যা এটিকে শক্তিশালী শূন্য-শট ক্লোনিং দিয়েছে। যেহেতু কোডেক টোকেনগুলি স্তরযুক্ত (RVQ এর মাধ্যমে), VALL-E দুটি পর্যায় ব্যবহার করে: একটি অটোরিগ্রেসিভ মডেল প্রথমটি ভবিষ্যদ্বাণী করে, প্রম্পটে শর্তযুক্ত মোটা টোকেন স্ট্রিম, এবং একটি নন-অটোরিগ্রেসিভ মডেল অবশিষ্ট বিশদ টোকেনগুলিতে পূরণ করে। এই কোডেক-এলএম রেসিপিটি VALL-E 2 এবং অনেক স্পিচ ফাউন্ডেশন মডেলের মতো উত্তরসূরিদের অনুপ্রাণিত করেছে।