میک-اے-ویڈیو ٹیکسٹ ٹو ویڈیو

It matters because it showed that the visual knowledge inside text-to-image models could be 'taught' to move using only unlabeled video.

میک-اے-ویڈیو، جس کا اعلان Meta AI نے ستمبر 2022 میں کیا تھا، اس جملے سے چند سیکنڈ کی ویڈیو تیار کرتا ہے جیسے 'ایک کتا سپر ہیرو کیپ پہنے آسمان میں اڑ رہا ہے۔' اس کی کلیدی چال حرکت سے ظاہری شکل کو الگ کرنا ہے: ایک ٹیکسٹ ٹو امیج ماڈل (ایک CLIP طرز کی مشترکہ ٹیکسٹ امیج اسپیس اور ڈفیوژن پر بنایا گیا ہے) یہ سیکھتا ہے کہ اربوں کیپشن والی تصاویر سے چیزیں کیسی نظر آتی ہیں، جبکہ الگ الگ spatiotemporal تہیں یہ سیکھتی ہیں کہ چیزیں صرف بغیر لیبل والی ویڈیو سے کیسے حرکت کرتی ہیں۔ یہ اعلی معیار کے ٹیکسٹ ویڈیو جوڑوں کی کمی کو دور کرتا ہے۔ بیس ماڈل کم ریزولوشن، کم فریم ریٹ کلپس تیار کرتا ہے، پھر وقف شدہ نیٹ ورک اضافی فریموں اور اعلی درجے کی مقامی ریزولوشن کو انٹرپولیٹ کرتا ہے۔ نتیجہ اس کے دور کے لئے حیرت انگیز طور پر ہم آہنگ تھا، حالانکہ کلپس مختصر، دھندلے، اور ٹمٹماہٹ اور وارپنگ کا شکار تھے۔