InstructPix2Pix अनुदेश संपादन
InstructPix2Pix आपको 'इसे सर्दी बनाओ' या 'बिल्ली को कुत्ते में बदल दो' जैसे सादे कमांड टाइप करके एक फोटो संपादित करने की सुविधा देता है, इसके लिए किसी मास्क या चयन उपकरण की आवश्यकता नहीं होती है।
सिंहावलोकन
It taught a diffusion model to follow editing instructions directly.
गहरा गोता
InstructPix2Pix (ब्रूक्स एट अल., 2023) एक प्रसार मॉडल है जो एक इनपुट छवि और एक पाठ निर्देश लेने और संपादित छवि को एक ही फॉरवर्ड पास में आउटपुट करने के लिए तैयार किया गया है। इसकी चतुर चाल प्रशिक्षण डेटा है: लेखकों ने पहले और बाद के कैप्शन जोड़े उत्पन्न करने के लिए GPT-3 का उपयोग किया, फिर छवि जोड़े के पहले/बाद के मिलान को संश्लेषित करने के लिए स्थिर प्रसार के साथ प्रॉम्प्ट-टू-प्रॉम्प्ट का उपयोग किया। इससे उन्हें बिना मैन्युअल लेबलिंग के प्रशिक्षण के लिए त्रिगुण (मूल छवि, निर्देश, संपादित छवि) का एक बड़ा डेटासेट मिला। क्योंकि निर्देश पूर्ण दृश्य के बजाय परिवर्तन का वर्णन करते हैं, मॉडल छवि के अज्ञात भागों को संरक्षित करता है। यह दो मार्गदर्शन पैमानों का उपयोग करता है, एक यह कि यह निर्देशों का कितनी बारीकी से पालन करता है और दूसरा यह कि यह कितनी ईमानदारी से मूल छवि से जुड़ा रहता है, जिससे उपयोगकर्ताओं को निष्ठा के विरुद्ध संपादन शक्ति का व्यापार करने की सुविधा मिलती है।
तकनीकी अंतर्दृष्टि
मॉडल स्रोत छवि और निर्देश दोनों पर स्थित है, दो अक्षों के साथ क्लासिफायर-मुक्त मार्गदर्शन लागू करता है। एक पैमाना पाठ निर्देश को महत्व देता है, दूसरा इनपुट छवि को महत्व देता है। छवि स्केल को ऊपर उठाने से मूल का अधिक भाग बरकरार रहता है, जबकि टेक्स्ट स्केल को बढ़ाने से संपादन अधिक आक्रामक हो जाता है। यह दोहरा मार्गदर्शन वह है जो एक सामान्य निर्देश को फोटो के बाकी हिस्सों को पहचानने योग्य छोड़ते हुए एक पहलू को विश्वसनीय रूप से बदलने देता है।
सामरिक प्रभाव
गति और पैमाना
विज़ुअल एआई बड़े पैमाने पर निरीक्षण, पता लगाने और टैगिंग कार्यों को स्वचालित कर सकता है।
विकल्प बनाएं
रचनात्मक टीमें कम मैन्युअल संशोधनों के साथ तेजी से अवधारणाओं का प्रोटोटाइप बना सकती हैं।
टीम और वर्कफ़्लो
संचालन छवि और वीडियो संकेतों का उपयोग कर सकते हैं जिन्हें संसाधित करना पहले कठिन था।
InstructPix2Pix अनुदेश संपादन का भविष्य
निर्देश-आधारित संपादन छवि टूल के लिए डिफ़ॉल्ट इंटरफ़ेस बन रहा है, जो अब मुख्यधारा के ऐप्स और मैजिकब्रश और उभरते मल्टी-टर्न संपादकों जैसे उत्तराधिकारियों में शामिल हो गया है। बारीक विवरण के बेहतर संरक्षण, 'लैंप को बाईं ओर ले जाएं' जैसे स्थानिक निर्देशों की विश्वसनीय हैंडलिंग और वीडियो में निर्बाध विस्तार की अपेक्षा करें, जहां एक कमांड पूरी क्लिप को संपादित करता है। इन मॉडलों को भाषा एजेंटों के साथ जोड़कर आप संवादात्मक रूप से एक पूर्ण संपादन सत्र का वर्णन कर सकते हैं।
वास्तविक विश्व कार्यान्वयन
एक ब्लॉगर मौसमी पोस्ट के लिए ग्रीष्मकालीन परिदृश्य फोटो को फिर से तैयार करने के लिए 'पतझड़ पत्ते जोड़ें' टाइप करता है।
एक ई-कॉमर्स विक्रेता एक ही बार में उत्पाद के विभिन्न रंग तैयार करने के लिए 'शर्ट का रंग नेवी में बदलने' का निर्देश देता है।
एक शिक्षक एक पाठ के लिए एक काले और सफेद संग्रह छवि को ज्वलंत बनाने के लिए 'इसे रंगीन करें' के साथ एक ऐतिहासिक तस्वीर को संपादित करता है।
एक मीम निर्माता कुत्ते के चेहरे को मैन्युअल रूप से छिपाए बिना 'कुत्ते पर धूप का चश्मा लगाने' का आदेश देता है।
जोखिम और रेलिंग
यदि उत्पत्ति अस्पष्ट है तो छवि अधिकार और सहमति कानूनी जोखिम बन सकते हैं।
मॉडल का प्रदर्शन प्रकाश व्यवस्था, जनसांख्यिकी और वातावरण के अनुसार भिन्न हो सकता है।
जब तक आत्मविश्वास की सीमा की निगरानी नहीं की जाती, तब तक झूठी सकारात्मक बातों पर ध्यान नहीं दिया जा सकता।
कार्यान्वयन रोडमैप
सटीकता, रिकॉल और त्रुटि लागत के लिए स्वीकृति मानदंड परिभाषित करें।
वास्तविक उत्पादन स्थितियों से मेल खाने वाले डेटा के साथ परीक्षण करें।
कम-आत्मविश्वास या उच्च-प्रभाव वाली भविष्यवाणियों के लिए मानवीय समीक्षा जोड़ें।
कैमरा या डेटासेट में बदलाव के बाद मॉडल बहाव को ट्रैक करें और पुनः सत्यापित करें।
अन्वेषण करते रहें
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the InstructPix2Pix Instruction Editing quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
अगली गाइड
ड्रैगगैन इंटरैक्टिव संपादन
अक्सर पूछे जाने वाले प्रश्नों
What is InstructPix2Pix Instruction Editing?
InstructPix2Pix आपको 'इसे सर्दी बनाओ' या 'बिल्ली को कुत्ते में बदल दो' जैसे सादे कमांड टाइप करके एक फोटो संपादित करने की सुविधा देता है, इसके लिए किसी मास्क या चयन उपकरण की आवश्यकता नहीं होती है। इसने संपादन निर्देशों का सीधे पालन करने के लिए एक प्रसार मॉडल सिखाया।
आप InstructPix2Pix को कैसे बताते हैं कि क्या बदलना है?
आप बस एक निर्देश टाइप करें जैसे 'इसे सर्दी में बनाएं'; किसी मुखौटे या क्षेत्र चयन की आवश्यकता नहीं है।
InstructPix2Pix का प्रशिक्षण डेटा कैसे बनाया गया?
लेखकों ने स्वचालित रूप से ट्रिपल बनाने के लिए GPT-3-जनित कैप्शन जोड़े को प्रॉम्प्ट-टू-प्रॉम्प्ट छवि संश्लेषण के साथ जोड़ा।
InstructPix2Pix के दो मार्गदर्शन पैमाने क्या नियंत्रित करते हैं?
एक पैमाना यह नियंत्रित करता है कि संपादन कितनी दृढ़ता से निर्देश का पालन करता है; दूसरा नियंत्रित करता है कि स्रोत छवि का कितना भाग संरक्षित है।
मॉडल छवि के अज्ञात हिस्सों को अकेला क्यों छोड़ देता है?
एक निर्देश एक विशिष्ट परिवर्तन को लक्षित करता है, इसलिए मॉडल उन क्षेत्रों को संरक्षित करता है जिनका निर्देश में उल्लेख नहीं किया गया है।
एक संपादन तैयार करने के लिए InstructPix2Pix को कितने फॉरवर्ड पास की आवश्यकता है?
यह एक एकल सशर्त प्रसार मॉडल है जो छवि और निर्देश को एक साथ लेता है और संपादन को आउटपुट करता है।