प्रॉम्प्ट-टू-प्रॉम्प्ट क्रॉस-अटेंशन संपादन

प्रॉम्प्ट-टू-प्रॉम्प्ट मॉडल के आंतरिक ध्यान मानचित्रों का पुन: उपयोग करते समय इसके टेक्स्ट प्रॉम्प्ट को बदलकर उत्पन्न छवि को संपादित करता है, इसलिए एक शब्द को बदलने से बाकी दृश्य को बरकरार रखते हुए उस तत्व को बदल दिया जाता है। यह शब्दों के माध्यम से संपादन है, पिक्सेल के माध्यम से नहीं।

प्रॉम्प्ट-टू-प्रॉम्प्ट (हर्ट्ज़ एट अल., 2022) प्रसार मॉडल में पाठ-संचालित संपादन के लिए एक प्रशिक्षण-मुक्त तकनीक है। मुख्य अंतर्दृष्टि यह है कि क्रॉस-अटेंशन मानचित्र, जो मॉडल को बताते हैं कि प्रत्येक शब्द को किस छवि क्षेत्र को प्रभावित करना चाहिए, दृश्य के स्थानिक लेआउट को एन्कोड करते हैं। जब आप थोड़े से संशोधित प्रॉम्प्ट के साथ एक छवि को पुन: उत्पन्न करते हैं, तो विधि मूल प्रॉम्प्ट के ध्यान मानचित्रों को नए रन में इंजेक्ट करती है। किसी शब्द, जैसे 'साइकिल' को 'मोटरसाइकिल' से बदलने पर, रचना और पृष्ठभूमि को संरक्षित करते हुए उस वस्तु की अदला-बदली हो जाती है। एक शब्द जोड़ने से केवल अपरिवर्तित टोकन पर ध्यान आकर्षित होता है, इसलिए हर चीज में फेरबदल किए बिना एक नई विशेषता दिखाई देती है। आप किसी टोकन के प्रभाव को मजबूत या कमजोर करने के लिए उस पर दोबारा ध्यान भी दे सकते हैं। क्योंकि इसमें किसी फ़ाइन-ट्यूनिंग या मास्क की आवश्यकता नहीं है, यह InstructPix2Pix की डेटा पीढ़ी सहित कई बाद के संपादन तरीकों के लिए एक मूलभूत निर्माण खंड बन गया।