التاليالدليل التالي
تحرير الصور التحادثية باستخدام النماذج المتعددة الوسائط
الذكاء الاصطناعي البصري
دليل الذكاء الاصطناعي المرئي
تحرير التعليمات InstructPix2Pix
يتيح لك InstructPix2Pix تحرير صورة عن طريق كتابة أمر عادي مثل "اجعله شتاءً" أو "تحويل القطة إلى كلب"، دون الحاجة إلى أقنعة أو أدوات تحديد.
استمع إلى هذا الدليلرواه الذكاء الاصطناعي · ~2 min
في هذه الصفحةقراءة لمدة دقيقتين
نظرة عامة
لقد قام بتدريس نموذج الانتشار لاتباع تعليمات التحرير مباشرة.
الغوص العميق
InstructPix2Pix is a diffusion model conditioned on an input image and an editing instruction. Its authors constructed synthetic training pairs by using GPT-3 to generate instructions and Prompt-to-Prompt with Stable Diffusion to create edited image examples. They report that the trained model can apply user-written instructions to real images without per-example fine-tuning or inversion. This does not mean inference is a single network evaluation: diffusion sampling still uses iterative denoising. Two guidance scales trade instruction adherence against similarity to the source image, and the model can alter details beyond the requested edit, so review remains necessary.
التنفيذ في العالم الحقيقي
يكتب أحد المدونين "إضافة أوراق الشجر" لإعادة تصميم صورة منظر طبيعي صيفي لمنشور موسمي.
يرشد أحد بائعي التجارة الإلكترونية إلى "تغيير لون القميص إلى اللون الأزرق الداكن" لإنتاج متغيرات ألوان المنتج من طلقة واحدة.
يقوم المعلم بتحرير صورة تاريخية باستخدام "تلوين هذا" لجعل صورة أرشيفية بالأبيض والأسود حية للدرس.
يأمر أحد منشئي الميمات "بوضع النظارات الشمسية على الكلب" دون إخفاء وجه الكلب يدويًا.
مستقبل تحرير تعليمات InstructPix2Pix
Instruction-based editing can make image changes easier to request, but generative outputs still need review for unintended alterations, missing details, and unsupported historical claims.
وضعها موضع التنفيذ
لماذا يهم
- السرعة والحجم. يمكن للذكاء الاصطناعي المرئي أتمتة مهام الفحص والكشف ووضع العلامات على نطاق واسع.
- خيارات البناء. يمكن للفرق الإبداعية إنشاء نماذج أولية للمفاهيم بشكل أسرع مع عدد أقل من المراجعات اليدوية.
- الفريق وسير العمل. يمكن أن تستخدم العمليات إشارات الصور والفيديو التي كان من الصعب معالجتها في السابق.
احترس من
- يمكن أن تصبح حقوق الصور والموافقة مخاطر قانونية إذا كان المصدر غير واضح.
- يمكن أن يختلف أداء النموذج عبر الإضاءة والتركيبة السكانية والبيئات.
- قد تمر الإيجابيات الكاذبة دون أن يلاحظها أحد ما لم تتم مراقبة عتبات الثقة.
الخطوات التالية
- تحديد معايير القبول لتكاليف الدقة والاستدعاء والخطأ.
- اختبار مع البيانات التي تتوافق مع ظروف الإنتاج الحقيقية.
- أضف مراجعة بشرية للتنبؤات منخفضة الثقة أو عالية التأثير.
- تتبع انحراف النموذج وإعادة التحقق من صحته بعد تغيير الكاميرا أو مجموعة البيانات.
استمر في الاستكشاف
رسالة إخبارية مجانية
احصل على الإحاطة اليومية لمنظمة العفو الدولية
ثلاث قصص تم التحقق منها بواسطة الذكاء الاصطناعي كل صباح من أيام الأسبوع، مكتوبة باللغة الإنجليزية البسيطة. مجاني للأبد، بدون إعلانات.
بريد إلكتروني واحد كل يوم من أيام الأسبوع. إلغاء الاشتراك بنقرة واحدة. نحن لا نبيع أو نشارك عنوانك أبدًا.
اختبر نفسك
Take the InstructPix2Pix Instruction Editing quiz
تعليقات فورية على كل إجابة، وشهادة قابلة للمشاركة مع معرف يمكن التحقق منه بمجرد اجتياز الدورة التدريبية.
دعم تعليم الذكاء الاصطناعي المجاني. AI Understanding هي منظمة 501(c)(3) غير ربحية - لا إعلانات ولا نظام حظر الاشتراك غير المدفوع على الإطلاق. قم بالتبرع
الأسئلة المتداولة
ما هو تحرير تعليمات InstructPix2Pix؟
يتيح لك InstructPix2Pix تحرير صورة عن طريق كتابة أمر عادي مثل "اجعله شتاءً" أو "تحويل القطة إلى كلب"، دون الحاجة إلى أقنعة أو أدوات تحديد. لقد قام بتدريس نموذج الانتشار لاتباع تعليمات التحرير مباشرة.
كيف تخبر InstructPix2Pix بما يجب تغييره؟
ما عليك سوى كتابة تعليمات مثل "اجعل الشتاء"؛ ليست هناك حاجة إلى أقنعة أو اختيار المنطقة.
كيف تم إنشاء بيانات التدريب الخاصة بـ InstructPix2Pix؟
قام المؤلفون بدمج أزواج التسميات التوضيحية التي تم إنشاؤها بواسطة GPT-3 مع تركيب الصور "موجه إلى موجه" لإنشاء ثلاثية تلقائيًا.
ما الذي يتحكم به مقياسا التوجيه في InstructPix2Pix؟
ويتحكم مقياس واحد في مدى قوة اتباع التحرير للتعليمات؛ ويتحكم الآخر في مقدار الاحتفاظ بالصورة المصدر.
لماذا يميل النموذج إلى ترك الأجزاء غير المذكورة من الصورة وحدها؟
تستهدف التعليمات تغييرًا محددًا، لذلك يحافظ النموذج على المناطق التي لم تذكرها التعليمات.
Does InstructPix2Pix require separate per-image fine-tuning or inversion before applying an edit?
The paper describes applying the trained model to an image and instruction without per-example fine-tuning or inversion. The diffusion model still performs iterative denoising during inference.
استمر في التعلم
أدلة ذات صلة
تم اختيار المزيد من الأدلة لهذا الموضوع