تحرير الانتباه المتقاطع الفوري إلى الفوري

It is editing through words, not pixels.

تعد المطالبة بالمطالبة (Hertz et al., 2022) تقنية خالية من التدريب للتحرير المستند إلى النص في نماذج النشر. الفكرة الأساسية هي أن خرائط الانتباه المتبادل، التي تخبر النموذج بمناطق الصورة التي يجب أن تؤثر عليها كل كلمة، تقوم بتشفير التخطيط المكاني للمشهد. عندما تقوم بإعادة إنشاء صورة باستخدام موجه معدل قليلاً، تقوم الطريقة بإدخال خرائط انتباه الموجه الأصلي في التشغيل الجديد. يؤدي استبدال كلمة، مثل "دراجة" بكلمة "دراجة نارية"، إلى تبديل هذا الكائن مع الحفاظ على التكوين والخلفية. تؤدي إضافة كلمة إلى لفت الانتباه فقط إلى الرموز المميزة التي لم تتغير، لذلك تظهر سمة جديدة دون تعديل كل شيء. يمكنك أيضًا إعادة وزن انتباه الرمز المميز لتقوية تأثيره أو إضعافه. نظرًا لأنه لا يتطلب أي ضبط أو أقنعة، فقد أصبح لبنة أساسية للعديد من طرق التحرير اللاحقة، بما في ذلك إنشاء بيانات InstructPix2Pix.