ایک تصویر سے پورٹریٹ اینیمیشن

ہر سسٹم کے چار حصے ہوتے ہیں: ایک سورس امیج جو ظاہری شکل فراہم کرتا ہے، ڈرائیونگ سگنل (دوسرے چہرے کی ویڈیو، یا آڈیو)، ایک حرکت کی نمائندگی، اور ایک جنریٹر جو ماخذ کو وارپ کرتا ہے اور خلا کو پر کرتا ہے۔ پہلا آرڈر موشن ماڈل (Siarohin et al., NeurIPS 2019) نے ٹیمپلیٹ سیٹ کیا۔ یہ کلیدی نکات کو بغیر کسی لیبل کے سیکھتا ہے، ہر ایک کے ارد گرد مقامی افائن تبدیلیوں کے ساتھ۔ ماخذ اور ڈرائیونگ کی پوائنٹس سے یہ ایک گھنے موشن فیلڈ کی پیشین گوئی کرتا ہے، جو کہ فی پکسل فلو ہے، نیز ان علاقوں کو نشان زد کرنے والا ایک نقشہ جو ماخذ کی تصویر فراہم نہیں کر سکتا۔ یہ ماخذ کے فیچر کے نقشوں کو بہاؤ کے ساتھ وارپس کرتا ہے اور اس میں مخدوش علاقوں میں ڈیکوڈر پینٹ ہوتا ہے۔ یہ رشتہ دار حرکت کی منتقلی کا بھی استعمال کرتا ہے: اس کا اطلاق ہوتا ہے کہ ڈرائیونگ کی پوائنٹس کس طرح ڈرائیونگ ویڈیو کے پہلے فریم کی نسبت حرکت کرتے ہیں، نہ کہ ان کی مطلق پوزیشن، لہذا ماخذ اپنے چہرے کی شکل کو برقرار رکھتا ہے۔ SadTalker (CVPR 2023) آڈیو سے متحرک ہے۔ یہ تقریر سے 3D مورف ایبل ماڈل گتانکوں کی پیشین گوئی کرتا ہے، اظہار کے لیے ExpNet اور ہیڈ پوز کے لیے PoseVAE کا استعمال کرتے ہوئے، پھر انہیں کلیدی پوائنٹ پر مبنی چہرے کے جنریٹر کے ذریعے پیش کرتا ہے۔ 2024 میں Kuaishou کے ذریعہ جاری کردہ LivePortrait، ایک بڑے ڈیٹاسیٹ پر تربیت یافتہ کلیدی نکات کا استعمال کرتا ہے۔ اس میں ایک سلائی ماڈیول شامل کیا گیا ہے جو اینی میٹڈ چہرے کو مکمل تصویر میں بغیر کسی غلط کندھوں کے، اور آنکھ اور ہونٹوں کے کھلے پن کے لیے دوبارہ ہدف بنانے والے ماڈیولز میں پیسٹ کرتا ہے۔ یہ ایک GPU پر قریب قریب حقیقی وقت کے استعمال کے لیے کافی تیز ہے۔ بازی پر مبنی طریقے جیسے کہ علی بابا کا EMO اور اوپن ہیلو پروجیکٹ بہت زیادہ کمپیوٹ لاگت پر زیادہ تاثراتی نتائج دیتے ہیں۔ ایک تصویر میں سر کے اطراف، منہ کے اندر یا دانتوں کے بارے میں کوئی معلومات نہیں ہوتی، اس لیے یہ علاقے ایجاد کیے گئے ہیں۔ سر کے بڑے موڑ چہرے کو پھیلاتے ہیں، پس منظر اور بال اس کے ساتھ ساتھ تپ سکتے ہیں، اور شناخت میں اضافہ ہو سکتا ہے۔ ایک عام غلط فہمی یہ ہے کہ یہ ٹولز فرد کا مکمل 3D ماڈل بناتے ہیں۔ یہاں تک کہ 3DMM پر مبنی طریقے صرف چہرے کا تخمینی ماڈل استعمال کرتے ہیں۔