মেক-এ-ভিডিও টেক্সট-টু-ভিডিও

It matters because it showed that the visual knowledge inside text-to-image models could be 'taught' to move using only unlabeled video.

মেক-এ-ভিডিও, Meta AI দ্বারা 2022 সালের সেপ্টেম্বরে ঘোষণা করা হয়েছে, 'একটি কুকুর একটি সুপারহিরো কেপ পরা আকাশে উড়ছে' মত একটি বাক্য থেকে কয়েক সেকেন্ডের ভিডিও তৈরি করে। এর মূল কৌতুক হল গতি থেকে চেহারা ডিকপলিং করা: একটি টেক্সট-টু-ইমেজ মডেল (একটি CLIP-স্টাইলের যৌথ পাঠ্য-ইমেজ স্পেস এবং ডিফিউশনের উপর নির্মিত) কোটি কোটি ক্যাপশন করা ছবি থেকে জিনিসগুলি কেমন দেখায় তা শেখে, যখন আলাদা স্থানিক স্তরগুলি কেবল লেবেলবিহীন ভিডিও থেকে কীভাবে জিনিসগুলি সরে যায় তা শিখে। এটি উচ্চ-মানের পাঠ্য-ভিডিও জোড়ার অভাবকে দূরে সরিয়ে দেয়। বেস মডেল কম-রেজোলিউশন, কম-ফ্রেম-রেট ক্লিপ তৈরি করে, তারপর ডেডিকেটেড নেটওয়ার্কগুলি অতিরিক্ত ফ্রেম এবং উচ্চতর স্থানিক রেজোলিউশনকে ইন্টারপোলেট করে। ফলাফলটি তার যুগের জন্য আকর্ষণীয়ভাবে সুসঙ্গত ছিল, যদিও ক্লিপগুলি সংক্ষিপ্ত, ঝাপসা এবং ঝাঁকুনি এবং ঝাঁকুনি হওয়ার প্রবণ ছিল।