মোশি ফুল-ডুপ্লেক্স বক্তৃতা

2024 সালে ফরাসি ল্যাব Kyutai দ্বারা প্রকাশিত Moshi হল একটি স্পিচ-টু-স্পিচ ফাউন্ডেশন মডেল যা প্রাকৃতিক, কম লেটেন্সি কথোপকথনের জন্য তৈরি করা হয়েছে। পাইপলাইন সহকারীর বিপরীতে যারা স্পিচ-টু-টেক্সট, তারপর একটি ল্যাঙ্গুয়েজ মডেল, তারপর টেক্সট-টু-স্পিচ, মোশি সরাসরি এবং ক্রমাগত অডিও পরিচালনা করে। এর মূল ধারণাটি সম্পূর্ণ ডুপ্লেক্স: এটি একই সাথে দুটি অডিও স্ট্রিম মডেল করে — ব্যবহারকারীর এবং তার নিজস্ব — যাতে এটি কথা বলার সময় শুনতে পারে, বাধাগুলি পরিচালনা করতে পারে, 'mhm'-এর সাথে ব্যাকচ্যানেল করতে পারে এবং মানুষের মতো স্বাভাবিকভাবে ওভারল্যাপ করতে পারে৷ এটি প্রায় 160-200 মিলিসেকেন্ডের মধ্যে লেটেন্সিতে পৌঁছায়, সাধারণ সহকারী ল্যাগ থেকে অনেক নিচে। হুডের নিচে এটি মিমির সাথে একটি 7B-প্যারামিটার টেক্সট-এন্ড-অডিও ল্যাঙ্গুয়েজ মডেল (হিলিয়াম) যুক্ত করে, একটি নিউরাল অডিও কোডেক যা বক্তৃতাকে আলাদা টোকেনে সংকুচিত করে যা মডেল তৈরি করতে পারে। Kyutai প্রকাশ্যে ওজন এবং কোড প্রকাশ.