ভিজ্যুয়াল এআই গাইড

অডিও-চালিত এআই লিপ সিঙ্ক

অডিও-চালিত AI ঠোঁট সিঙ্ক একটি মুখের ভিডিও সম্পাদনা করে যাতে এর মুখের নড়াচড়া একটি নতুন স্পিচ ট্র্যাকের সাথে মেলে, শব্দ থেকেই মুখের আকারের পূর্বাভাস দেয়।

এই নির্দেশিকা শুনুনএআই-বর্ণিত · ~3 min

এই পৃষ্ঠায়4 মিনিট পড়া
  1. ওভারভিউ
  2. গভীর ডুব
  3. বাস্তব-বিশ্ব বাস্তবায়ন
  4. অডিও-চালিত এআই লিপ সিঙ্কের ভবিষ্যত
  5. এটাকে বাস্তবে প্রয়োগ করা হচ্ছে
  6. অন্বেষণ চালিয়ে যান
  7. প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী

ওভারভিউ

পাঠ এবং চলচ্চিত্রগুলিকে অন্যান্য ভাষায় ডাব করার জন্য এবং পুনরায় রেকর্ড করা সংলাপ ঠিক করার জন্য এটি গুরুত্বপূর্ণ। একই কৌশল সত্যিকারের লোকেদের এমন কথা বলতে দেখাতে পারে যা তারা কখনও বলেনি।

গভীর ডুব

Wav2Lip, 2020 সালে IIIT হায়দ্রাবাদের (ACM মাল্টিমিডিয়া) গবেষকদের দ্বারা প্রকাশিত, হল সবচেয়ে পরিচিত ওপেন লিপ সিঙ্ক মডেল এবং ক্ষেত্রের জন্য একটি দরকারী টেমপ্লেট৷ প্রতিটি টার্গেট ফ্রেমের জন্য, জেনারেটর তিনটি ইনপুট পায়: মুখের নীচের অর্ধেক মুখোশ, একই ব্যক্তির একটি রেফারেন্স ফ্রেম যা উপস্থিতি সরবরাহ করে এবং সেই মুহূর্তের চারপাশে অডিওর একটি ছোট মেল-স্পেকট্রোগ্রাম উইন্ডো। একটি এনকোডার-ডিকোডার নেটওয়ার্ক তারপর মুখের অঞ্চলে রঙ করে, এবং ফলাফলটি মূল ভিডিওতে মিশ্রিত হয়। মূল অবদান ছিল SyncNet-এর উপর ভিত্তি করে প্রাক-প্রশিক্ষিত "বিশেষজ্ঞ" সিঙ্ক বৈষম্যকারী। এটি প্রশিক্ষণের সময় হিমায়িত থাকে এবং মুখের ফ্রেমের একটি সংক্ষিপ্ত রান অডিওর সাথে মেলে কিনা তা বিচার করে। পূর্বের পদ্ধতিগুলি জেনারেটরের সাথে যৌথভাবে একটি সিঙ্ক বৈষম্যকারীকে প্রশিক্ষিত করেছিল এবং সেই বৈষম্যকারীরা সিঙ্কের দুর্বল বিচারক হিসাবে পরিণত হয়েছিল। Wav2Lip একটি পৃথক ভিজ্যুয়াল-গুণমান বৈষম্যকারীও ব্যবহার করেছে। এর দুর্বলতা ছিল কম-রেজোলিউশনের মুখের ফসল, ঝাপসা দাঁত এবং দৃশ্যমান সীম বা মুখোশের সীমানায় ঝাঁকুনি। পরবর্তী সিস্টেম যেমন VideoReTalking, MuseTalk এবং ডিফিউশন-ভিত্তিক LatentSync এর লক্ষ্য তীক্ষ্ণ, আরও স্থিতিশীল ফলাফলের জন্য। গুণমান বিভিন্ন উপায়ে বিচার করা হয়। LSE-D SyncNet-এর অডিও এবং ভিডিও এম্বেডিংয়ের মধ্যে দূরত্ব পরিমাপ করে, যেখানে কম হলে ভাল। LSE-C SyncNet-এর আত্মবিশ্বাস পরিমাপ করে, যেখানে উচ্চতর ভাল। ছবি-গুণমানের মেট্রিক্স যেমন FID এবং মানুষের রেটিং বাস্তবতাকে কভার করে। একটি সাধারণ ভুল ধারণা হল একটি ভাল সিঙ্ক স্কোর মানে একটি বাস্তবসম্মত ভিডিও। অতিরঞ্জিত মুখের গতি ভাল স্কোর করতে পারে এবং এখনও ভুল দেখতে পারে, তাই মানুষের মূল্যায়ন অপরিহার্য। একটি চ্যালেঞ্জ হল যে অনেক ফোনেম একই দৃশ্যমান মুখের আকৃতি বা ভিসেম ভাগ করে, তাই অডিও-টু-মাউথ ম্যাপিং অনেক-টু-এক। অপব্যবহার সরাসরি প্রযুক্তি থেকে অনুসরণ করে: ঠোঁট সিঙ্কের সাথে একটি ক্লোন করা ভয়েস যুক্ত করা বিশ্বাসযোগ্য জাল বিবৃতি তৈরি করতে পারে। গবেষকরা দেখিয়েছেন যে ফোনেম এবং ভিসেমের মধ্যে অমিল, বিশেষ করে 'm', 'b' এবং 'p'-এ ঠোঁট বন্ধ না হওয়া, এই ধরনের নকল প্রকাশ করতে পারে।

বাস্তব-বিশ্ব বাস্তবায়ন

একজন অনলাইন কোর্স প্রদানকারী একটি বক্তৃতা স্প্যানিশ ভাষায় ডাব করে এবং ঠোঁট সিঙ্ক ব্যবহার করে যাতে প্রশিক্ষকের মুখ অনুবাদকৃত অডিওর সাথে মেলে, ভিডিওর বিবরণে সম্পাদনাটি লক্ষ্য করে।

একজন ভিডিও এডিটর দৃশ্যটি পুনঃশুট করার পরিবর্তে অভিনেতার সম্মতিতে শুটিংয়ের পরে পুনরায় রেকর্ড করা সংলাপের একটি লাইনে অভিনেতার মুখের সাথে সিঙ্ক করে।

একজন ফ্যাক্ট-চেকার একজন রাজনীতিকের ভাইরাল ক্লিপ পরীক্ষা করেন এবং লক্ষ্য করেন যে 'b', 'p' এবং 'm' ধ্বনিতে ঠোঁট কখনই পুরোপুরি বন্ধ হয় না, এটি একটি ঠোঁট-সিঙ্ক করা নকলের একটি পরিচিত চিহ্ন।

একজন গবেষক টক-হেড ক্লিপগুলির একটি সেটে Wav2Lip চালান এবং LSE-D এবং LSE-C এর সাথে ফলাফলগুলিকে একটি নতুন ডিফিউশন-ভিত্তিক লিপ সিঙ্ক মডেলের সাথে তুলনা করতে স্কোর করেন।

অডিও-চালিত এআই লিপ সিঙ্কের ভবিষ্যত

ঠোঁট সিঙ্ক ডাবিং এবং ভিডিও স্থানীয়করণ সরঞ্জামগুলির একটি আদর্শ বৈশিষ্ট্য হয়ে উঠছে, এবং গবেষণা উচ্চতর রেজোলিউশন, স্থিতিশীল দাঁত এবং জিহ্বা, এবং শুধুমাত্র মুখের পরিবর্তে পুরো মুখের অভিব্যক্তি এবং মাথার গতি সিঙ্ক করার দিকে এগিয়ে চলেছে৷ সনাক্তকরণ একটি অস্ত্রের প্রতিযোগিতা: জেনারেটরের উন্নতির সাথে সাথে ফোনমে-ভিসিমে অমিলের মতো ফরেনসিক সংকেতগুলি দুর্বল হয়ে যায়। কিছু বিচারব্যবস্থা প্রতারণামূলক সিন্থেটিক মিডিয়া নিয়ন্ত্রণ করতে শুরু করেছে, বিশেষ করে নির্বাচনকে ঘিরে। দেখানো ব্যক্তির কাছ থেকে সম্মতি, স্পষ্ট প্রকাশ, এবং উত্স লেবেলিং সম্ভবত দায়িত্বশীল ব্যবহারের কেন্দ্রে থাকবে।

এটাকে বাস্তবে প্রয়োগ করা হচ্ছে

কেন এটা গুরুত্বপূর্ণ

  • গতি এবং স্কেল. ভিজ্যুয়াল এআই স্কেলে পরিদর্শন, সনাক্তকরণ এবং ট্যাগিং কাজগুলি স্বয়ংক্রিয়ভাবে করতে পারে।
  • পছন্দগুলি তৈরি করুন. সৃজনশীল দলগুলি কম ম্যানুয়াল সংশোধন সহ ধারণাগুলিকে দ্রুত প্রোটোটাইপ করতে পারে।
  • টিম এবং ওয়ার্কফ্লো. অপারেশনগুলি ইমেজ এবং ভিডিও সংকেত ব্যবহার করতে পারে যা আগে প্রক্রিয়া করা কঠিন ছিল।

জন্য সতর্ক

  • প্রমাণ অস্পষ্ট হলে ছবির অধিকার এবং সম্মতি আইনি ঝুঁকিতে পরিণত হতে পারে।
  • মডেলের কর্মক্ষমতা আলো, জনসংখ্যা এবং পরিবেশ জুড়ে পরিবর্তিত হতে পারে।
  • আস্থার থ্রেশহোল্ডগুলি পর্যবেক্ষণ করা না হলে মিথ্যা ইতিবাচকগুলি অলক্ষিত হতে পারে।

পরবর্তী পদক্ষেপ

  1. নির্ভুলতা, প্রত্যাহার, এবং ত্রুটি খরচের জন্য গ্রহণযোগ্যতার মানদণ্ড নির্ধারণ করুন।
  2. প্রকৃত উৎপাদন অবস্থার সাথে মেলে এমন ডেটা দিয়ে পরীক্ষা করুন।
  3. কম-আস্থা বা উচ্চ-প্রভাব ভবিষ্যদ্বাণীর জন্য মানুষের পর্যালোচনা যোগ করুন।
  4. মডেল ড্রিফ্ট ট্র্যাক করুন এবং ক্যামেরা বা ডেটাসেট পরিবর্তনের পরে পুনরায় যাচাই করুন।

অন্বেষণ চালিয়ে যান

ফ্রি নিউজলেটার

প্রতিদিনের এআই ব্রিফিং পান

প্রতি সপ্তাহের কাজের দিন সকালে তিনটি যাচাইকৃত এআই স্টোরি, সহজ ইংরেজিতে লেখা। চিরকালের জন্য ফ্রি, কোনো বিজ্ঞাপন নেই।

প্রতি সপ্তাহের কাজের দিনে একটি ইমেল। এক ক্লিকেই আনসাবস্ক্রাইব করুন। আমরা কখনোই আপনার ঠিকানা বিক্রি বা শেয়ার করি না।

নিজেকে পরীক্ষা করুন

Take the Audio-Driven AI Lip Sync quiz

প্রতিটি উত্তরের তাৎক্ষণিক ফিডব্যাক, এবং কোর্স পাস করার পর যাচাইযোগ্য আইডি সহ একটি শেয়ারযোগ্য সার্টিফিকেট।

কুইজ শুরু করুন

ফ্রি এআই শিক্ষাকে সমর্থন করুন। AI Understanding একটি 501(c)(3) অলাভজনক প্রতিষ্ঠান — কোনো বিজ্ঞাপন নেই, কোনো পেওয়াল নেই, কখনোই না। একটি দান করুন

প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী

অডিও-চালিত এআই লিপ সিঙ্ক কী?

অডিও-চালিত AI ঠোঁট সিঙ্ক একটি মুখের ভিডিও সম্পাদনা করে যাতে এর মুখের নড়াচড়া একটি নতুন স্পিচ ট্র্যাকের সাথে মেলে, শব্দ থেকেই মুখের আকারের পূর্বাভাস দেয়। পাঠ এবং চলচ্চিত্রগুলিকে অন্যান্য ভাষায় ডাব করার জন্য এবং পুনরায় রেকর্ড করা সংলাপ ঠিক করার জন্য এটি গুরুত্বপূর্ণ। একই কৌশল সত্যিকারের লোকেদের এমন কথা বলতে দেখাতে পারে যা তারা কখনও বলেনি।

Wav2Lip কেন লক্ষ্য মুখের নীচের অর্ধেক মাস্ক করে?

আসল মুখ লুকিয়ে রেখে, মুখের আকৃতি নির্ধারণ করতে জেনারেটরকে অডিওর উপর নির্ভর করতে হবে।

Wav2Lip এর সিঙ্ক ডিসক্রিমিনেটরকে কী আগের পদ্ধতির থেকে আলাদা করেছে?

জেনারেটরের সাথে যৌথভাবে প্রশিক্ষিত বৈষম্যকারীরা সিঙ্কের দুর্বল বিচারক ছিল। একটি হিমায়িত বিশেষজ্ঞ একটি নির্ভরযোগ্য সংকেত দেয়।

কিভাবে LSE-D পড়া উচিত?

LSE-D একটি দূরত্ব, তাই ছোট মান মানে অডিও এবং মুখ এম্বেডিং কাছাকাছি, যার মানে আরও ভাল সিঙ্ক৷

Wav2Lip-এ রেফারেন্স ফ্রেমের ভূমিকা কী?

রেফারেন্স ফ্রেম পরিচয় এবং টেক্সচার প্রদান করে। অডিও মুখের আকৃতি প্রদান করে।

কোনটি আসল Wav2Lip এর একটি পরিচিত চাক্ষুষ দুর্বলতা ছিল?

Wav2Lip ছোট মুখের ফসলে কাজ করে, তাই মুখ এবং দাঁত প্রায়শই তীক্ষ্ণ পার্শ্ববর্তী ফ্রেমের পাশে নরম দেখায়।

শিখতে থাকুন

সম্পর্কিত গাইড

এই বিষয়ের জন্য বাছাই করা আরও গাইড

একটি বিনামূল্যে AI শংসাপত্র পানএকটি সংক্ষিপ্ত বিনামূল্যে কোর্স এবং পরীক্ষা. কোনো খরচ নেই, কোনো কার্ড নেই। প্রায় 2.5 ঘন্টা।বিনামূল্যে শুরু করুন →