InstructPix2Pix انسٹرکشن ایڈیٹنگ
InstructPix2Pix آپ کو سادہ کمانڈ ٹائپ کر کے تصویر میں ترمیم کرنے دیتا ہے جیسے 'میک اٹ ونٹر' یا 'بلی کو کتے میں بدل دیں'، کسی ماسک یا سلیکشن ٹولز کی ضرورت نہیں ہے۔
جائزہ
It taught a diffusion model to follow editing instructions directly.
گہرا غوطہ
InstructPix2Pix (Brooks et al., 2023) ایک ان پٹ امیج کے علاوہ ٹیکسٹ انسٹرکشن لینے اور ترمیم شدہ امیج کو ایک ہی فارورڈ پاس میں آؤٹ پٹ کرنے کے لیے ایک ڈفیوژن ماڈل ہے۔ اس کی ہوشیار چال تربیتی ڈیٹا ہے: مصنفین نے پہلے اور بعد میں کیپشن کے جوڑے بنانے کے لیے GPT-3 کا استعمال کیا، پھر تصویری جوڑوں سے پہلے/بعد کے مماثلت کو سنتھیسائز کرنے کے لیے Stable Diffusion کے ساتھ Prompt-to-Prompt کا استعمال کیا۔ اس نے انہیں تربیت دینے کے لیے تین گنا (اصل تصویر، ہدایات، ترمیم شدہ تصویر) کا ایک بڑا ڈیٹاسیٹ دیا، یہ سب دستی لیبلنگ کے بغیر۔ چونکہ ہدایات مکمل منظر کے بجائے تبدیلی کو بیان کرتی ہیں، اس لیے ماڈل تصویر کے غیر ذکر شدہ حصوں کو محفوظ رکھتا ہے۔ اس میں رہنمائی کے دو پیمانے استعمال کیے گئے ہیں، ایک اس کے لیے کہ یہ ہدایات کی کتنی قریب سے پیروی کرتا ہے اور دوسرا یہ کہ یہ اصل تصویر پر کتنی وفاداری کے ساتھ قائم رہتا ہے، جس سے صارفین کو وفاداری کے خلاف ترمیم کی طاقت کو تجارت کرنے دیتا ہے۔
تکنیکی بصیرت
ماخذ کی تصویر اور ہدایات دونوں پر ماڈل کی شرائط، دو محوروں کے ساتھ درجہ بندی سے پاک رہنمائی کا اطلاق کرنا۔ ایک پیمانہ ٹیکسٹ انسٹرکشن کا وزن کرتا ہے، دوسرا ان پٹ امیج کو وزن دیتا ہے۔ تصویر کے پیمانے کو بڑھانے سے اصل کو زیادہ برقرار رکھا جاتا ہے، جبکہ متن کے پیمانے کو بڑھانے سے ترمیم زیادہ جارحانہ ہو جاتی ہے۔ یہ دوہری رہنمائی وہی ہے جو ایک عام ہدایت کو قابل اعتماد طریقے سے ایک پہلو کو تبدیل کرنے دیتی ہے جبکہ باقی تصویر کو قابل شناخت چھوڑ دیتی ہے۔
اسٹریٹجک اثر
رفتار اور پیمانہ
بصری AI پیمانے پر معائنہ، پتہ لگانے، اور ٹیگنگ کے کاموں کو خودکار کر سکتا ہے۔
Build choices
تخلیقی ٹیمیں کم دستی ترمیم کے ساتھ تصورات کو تیزی سے پروٹو ٹائپ کر سکتی ہیں۔
Team and workflow
آپریشنز امیج اور ویڈیو سگنلز کا استعمال کر سکتے ہیں جن پر کارروائی کرنا پہلے مشکل تھا۔
InstructPix2Pix انسٹرکشن ایڈیٹنگ کا مستقبل
ہدایات پر مبنی ایڈیٹنگ تصویری ٹولز کے لیے پہلے سے طے شدہ انٹرفیس بنتی جا رہی ہے، جو اب مین اسٹریم ایپس اور جانشین جیسے MagicBrush اور ابھرتے ہوئے ملٹی ٹرن ایڈیٹرز میں بنتی جا رہی ہے۔ اچھی تفصیل کے بہتر تحفظ، مقامی ہدایات جیسے 'چراغ کو بائیں منتقل کریں' کے قابل اعتماد ہینڈلنگ، اور ویڈیو میں ہموار توسیع کی توقع کریں، جہاں ایک کمانڈ پورے کلپ میں ترمیم کرتی ہے۔ ان ماڈلز کو لینگویج ایجنٹس کے ساتھ جوڑنے سے آپ مکمل ایڈیٹنگ سیشن کو بات چیت کے ساتھ بیان کر سکتے ہیں۔
حقیقی دنیا کا نفاذ
ایک بلاگر موسمی پوسٹ کے لیے موسم گرما کی زمین کی تزئین کی تصویر کو دوبارہ بنانے کے لیے 'add fall foliage' ٹائپ کرتا ہے۔
ایک ای کامرس بیچنے والے نے ایک شاٹ سے پروڈکٹ کے رنگ کی مختلف حالتیں تیار کرنے کے لیے 'شرٹ کا رنگ بحریہ میں تبدیل کرنے' کی ہدایت کی ہے۔
ایک استاد ایک تاریخی تصویر کو 'اس کو رنگ دیں' کے ساتھ ترمیم کرتا ہے تاکہ ایک سبق کے لیے سیاہ اور سفید آرکائیو کی تصویر کو واضح بنایا جا سکے۔
ایک میم تخلیق کار کتے کے چہرے کو دستی طور پر ماسک کیے بغیر 'کتے پر دھوپ کا چشمہ لگائیں' کا حکم دیتا ہے۔
خطرات اور گارڈریلز
تصویر کے حقوق اور رضامندی قانونی خطرات بن سکتے ہیں اگر ثبوت واضح نہ ہو۔
ماڈل کی کارکردگی روشنی، ڈیموگرافکس اور ماحول میں مختلف ہو سکتی ہے۔
جب تک اعتماد کی حدوں کی نگرانی نہ کی جائے غلط مثبتات پر کسی کا دھیان نہیں جا سکتا۔
نفاذ کا روڈ میپ
درستگی، یاد کرنے، اور غلطی کے اخراجات کے لیے قبولیت کے معیار کی وضاحت کریں۔
اعداد و شمار کے ساتھ ٹیسٹ کریں جو حقیقی پیداوار کے حالات سے میل کھاتا ہے۔
کم اعتماد یا زیادہ اثر والی پیشین گوئیوں کے لیے انسانی جائزہ شامل کریں۔
کیمرہ یا ڈیٹاسیٹ کی تبدیلیوں کے بعد ماڈل ڈرفٹ کو ٹریک کریں اور دوبارہ تصدیق کریں۔
دریافت کرتے رہیں
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the InstructPix2Pix Instruction Editing quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
اگلا گائیڈ
ڈریگن انٹرایکٹو ایڈیٹنگ
اکثر پوچھے گئے سوالات
What is InstructPix2Pix Instruction Editing?
InstructPix2Pix آپ کو سادہ کمانڈ ٹائپ کر کے تصویر میں ترمیم کرنے دیتا ہے جیسے 'میک اٹ ونٹر' یا 'بلی کو کتے میں بدل دیں'، کسی ماسک یا سلیکشن ٹولز کی ضرورت نہیں ہے۔ اس نے ایک بازی ماڈل کو براہ راست ترمیم کی ہدایات پر عمل کرنا سکھایا۔
آپ InstructPix2Pix کو کیسے بتائیں گے کہ کیا تبدیل کرنا ہے؟
آپ صرف ایک ہدایت ٹائپ کرتے ہیں جیسے 'سردیوں کو بنائیں'۔ کسی ماسک یا علاقے کے انتخاب کی ضرورت نہیں ہے۔
InstructPix2Pix کا تربیتی ڈیٹا کیسے بنایا گیا؟
مصنفین نے GPT-3 سے تیار کردہ کیپشن کے جوڑوں کو Prompt-to-Prompt تصویری ترکیب کے ساتھ جوڑ کر خود بخود تین گنا بنائے۔
InstructPix2Pix کے دو گائیڈنس اسکیلز کیا کنٹرول کرتے ہیں؟
ایک پیمانہ اس بات کو کنٹرول کرتا ہے کہ ترمیم کس حد تک ہدایات پر عمل کرتی ہے۔ دوسرا کنٹرول کرتا ہے کہ ماخذ کی تصویر کتنی محفوظ ہے۔
ماڈل تصویر کے غیر ذکر شدہ حصوں کو کیوں چھوڑتا ہے؟
ایک ہدایت ایک مخصوص تبدیلی کو نشانہ بناتی ہے، اس لیے ماڈل ان خطوں کو محفوظ رکھتا ہے جس میں ہدایات کا ذکر نہیں کیا گیا ہے۔
InstructPix2Pix کو ترمیم کرنے کے لیے کتنے فارورڈ پاسز کی ضرورت ہے؟
یہ ایک واحد مشروط بازی ماڈل ہے جو تصویر اور ہدایات کو ایک ساتھ لے جاتا ہے اور ترمیم کو آؤٹ پٹ کرتا ہے۔