অডিও-চালিত এআই লিপ সিঙ্ক

Wav2Lip, 2020 সালে IIIT হায়দ্রাবাদের (ACM মাল্টিমিডিয়া) গবেষকদের দ্বারা প্রকাশিত, হল সবচেয়ে পরিচিত ওপেন লিপ সিঙ্ক মডেল এবং ক্ষেত্রের জন্য একটি দরকারী টেমপ্লেট৷ প্রতিটি টার্গেট ফ্রেমের জন্য, জেনারেটর তিনটি ইনপুট পায়: মুখের নীচের অর্ধেক মুখোশ, একই ব্যক্তির একটি রেফারেন্স ফ্রেম যা উপস্থিতি সরবরাহ করে এবং সেই মুহূর্তের চারপাশে অডিওর একটি ছোট মেল-স্পেকট্রোগ্রাম উইন্ডো। একটি এনকোডার-ডিকোডার নেটওয়ার্ক তারপর মুখের অঞ্চলে রঙ করে, এবং ফলাফলটি মূল ভিডিওতে মিশ্রিত হয়। মূল অবদান ছিল SyncNet-এর উপর ভিত্তি করে প্রাক-প্রশিক্ষিত "বিশেষজ্ঞ" সিঙ্ক বৈষম্যকারী। এটি প্রশিক্ষণের সময় হিমায়িত থাকে এবং মুখের ফ্রেমের একটি সংক্ষিপ্ত রান অডিওর সাথে মেলে কিনা তা বিচার করে। পূর্বের পদ্ধতিগুলি জেনারেটরের সাথে যৌথভাবে একটি সিঙ্ক বৈষম্যকারীকে প্রশিক্ষিত করেছিল এবং সেই বৈষম্যকারীরা সিঙ্কের দুর্বল বিচারক হিসাবে পরিণত হয়েছিল। Wav2Lip একটি পৃথক ভিজ্যুয়াল-গুণমান বৈষম্যকারীও ব্যবহার করেছে। এর দুর্বলতা ছিল কম-রেজোলিউশনের মুখের ফসল, ঝাপসা দাঁত এবং দৃশ্যমান সীম বা মুখোশের সীমানায় ঝাঁকুনি। পরবর্তী সিস্টেম যেমন VideoReTalking, MuseTalk এবং ডিফিউশন-ভিত্তিক LatentSync এর লক্ষ্য তীক্ষ্ণ, আরও স্থিতিশীল ফলাফলের জন্য। গুণমান বিভিন্ন উপায়ে বিচার করা হয়। LSE-D SyncNet-এর অডিও এবং ভিডিও এম্বেডিংয়ের মধ্যে দূরত্ব পরিমাপ করে, যেখানে কম হলে ভাল। LSE-C SyncNet-এর আত্মবিশ্বাস পরিমাপ করে, যেখানে উচ্চতর ভাল। ছবি-গুণমানের মেট্রিক্স যেমন FID এবং মানুষের রেটিং বাস্তবতাকে কভার করে। একটি সাধারণ ভুল ধারণা হল একটি ভাল সিঙ্ক স্কোর মানে একটি বাস্তবসম্মত ভিডিও। অতিরঞ্জিত মুখের গতি ভাল স্কোর করতে পারে এবং এখনও ভুল দেখতে পারে, তাই মানুষের মূল্যায়ন অপরিহার্য। একটি চ্যালেঞ্জ হল যে অনেক ফোনেম একই দৃশ্যমান মুখের আকৃতি বা ভিসেম ভাগ করে, তাই অডিও-টু-মাউথ ম্যাপিং অনেক-টু-এক। অপব্যবহার সরাসরি প্রযুক্তি থেকে অনুসরণ করে: ঠোঁট সিঙ্কের সাথে একটি ক্লোন করা ভয়েস যুক্ত করা বিশ্বাসযোগ্য জাল বিবৃতি তৈরি করতে পারে। গবেষকরা দেখিয়েছেন যে ফোনেম এবং ভিসেমের মধ্যে অমিল, বিশেষ করে 'm', 'b' এবং 'p'-এ ঠোঁট বন্ধ না হওয়া, এই ধরনের নকল প্রকাশ করতে পারে।