নিউরাল ভোকোডার

একটি নিউরাল ভোকোডার একটি মডেল যা একটি কম্প্যাক্ট অ্যাকোস্টিক উপস্থাপনা, সাধারণত একটি মেল-স্পেকট্রোগ্রামকে একটি প্রকৃত শ্রবণযোগ্য তরঙ্গরূপে পরিণত করে। এটি চূড়ান্ত পর্যায় যা আধুনিক টেক্সট-টু-স্পিচ এবং ভয়েস ক্লোনিং তাদের স্বাভাবিক, মানবিক শব্দ দেয়।

প্রথাগত বক্তৃতা সংশ্লেষণে সিগন্যাল-প্রসেসিং ভোকোডার ব্যবহার করা হয় যা প্রায়শই গুঞ্জন বা রোবোটিক শোনায়। নিউরাল ভোকোডাররা বাস্তব রেকর্ডিংয়ের ঘন্টার প্রশিক্ষণের মাধ্যমে একটি স্পেকট্রোগ্রাম থেকে কাঁচা অডিও নমুনা পুনর্গঠন করতে শেখে। WaveNet (DeepMind, 2016) ছিল একটি অগ্রগতি, প্রতি সেকেন্ডে 16,000+ নমুনাতে এক সময়ে অডিও একটি নমুনা ভবিষ্যদ্বাণী করে, অসাধারণ প্রাকৃতিক বক্তৃতা তৈরি করে কিন্তু খুব ধীরে ধীরে। পরবর্তী মডেলগুলি গতির জন্য সেই অটোরিগ্রেসিভ বটলনেক লেনদেন করেছে: ওয়েভগ্লো ফ্লো-ভিত্তিক জেনারেশন ব্যবহার করেছে, প্যারালাল ওয়েভগান এবং মেলগান জেনারেটিভ অ্যাডভারসারিয়াল নেটওয়ার্ক ব্যবহার করেছে এবং হাইফাই-GAN রিয়েল টাইম থেকে অনেক দ্রুত উচ্চ-বিশ্বস্ততা 22kHz অডিও তৈরি করে একটি জনপ্রিয় মান হয়ে উঠেছে। আজ ভোকোডার প্রায় সবসময়ই একটি দ্বি-পর্যায়ের পাইপলাইনের দ্বিতীয়ার্ধে থাকে, যা ট্যাকোট্রন 2 বা ফাস্টস্পিচের মতো একটি অ্যাকোস্টিক মডেলের সাথে যুক্ত থাকে যা মেল-স্পেকট্রোগ্রাম তৈরি করে।