মিউজিকএলএম: হায়ারার্কিক্যাল সিমেন্টিক এবং অ্যাকোস্টিক টোকেন

2023 সালের প্রথম দিকে Google গবেষণার দ্বারা ঘোষিত, MusicLM মিউজিক জেনারেশনকে বিচ্ছিন্ন অডিও টোকেনগুলির পূর্বাভাস দেওয়ার ক্রম হিসাবে ফ্রেম করে, অনেকটা ভাষা মডেল শব্দের ভবিষ্যদ্বাণী করে। এটি উপস্থাপনাগুলির একটি শ্রেণিবিন্যাস ব্যবহার করে: শব্দার্থিক টোকেনগুলি (w2v-BERT নামক একটি মডেল থেকে) দীর্ঘ স্প্যানে সুর এবং তালের মতো উচ্চ-স্তরের কাঠামো ক্যাপচার করে, যখন অ্যাকোস্টিক টোকেনগুলি (সাউন্ডস্ট্রিম নিউরাল কোডেক থেকে) কাঠ এবং টেক্সচারের মতো সূক্ষ্ম বিবরণ ক্যাপচার করে। একটি প্রথম পর্যায় টেক্সট প্রম্পট থেকে শব্দার্থিক টোকেন তৈরি করে, তারপরের পর্যায়গুলি সেই শব্দার্থবিদ্যার উপর শর্তযুক্ত অ্যাকোস্টিক বিস্তারিত পূরণ করে। টেক্সট কন্ডিশনিং MuLM/MuLan থেকে আসে, একটি যৌথ মিউজিক-টেক্সট এমবেডিং প্রশিক্ষিত তাই বর্ণনা এবং অডিও একই জায়গায় ল্যান্ড করে। এই স্টেজড অ্যাপ্রোচ মিউজিকএলএমকে কয়েক সেকেন্ডের পরে প্রবাহিত হওয়ার পরিবর্তে মিনিটের মধ্যে মিউজিকভাবে সামঞ্জস্যপূর্ণ থাকতে দেয়।