دليل الذكاء الاصطناعي المرئي

تحرير الانتباه المتقاطع الفوري إلى الفوري

تقوم ميزة "موجه إلى موجه" بتحرير الصورة التي تم إنشاؤها عن طريق تعديل موجه النص الخاص بها أثناء إعادة استخدام خرائط الانتباه الداخلية للنموذج، لذا فإن تغيير كلمة واحدة يؤدي إلى تبديل هذا العنصر مع الحفاظ على بقية المشهد سليمًا.

نظرة عامة

تقوم ميزة "موجه إلى موجه" بتحرير الصورة التي تم إنشاؤها عن طريق تعديل موجه النص الخاص بها أثناء إعادة استخدام خرائط الانتباه الداخلية للنموذج، لذا فإن تغيير كلمة واحدة يؤدي إلى تبديل هذا العنصر مع الحفاظ على بقية المشهد سليمًا. يتم التحرير من خلال الكلمات، وليس البكسل.

ينتمي تحرير الانتباه الموجه إلى الفوري إلى عمليات سير عمل الرؤية الحاسوبية التي تفسر أو تولد الوسائط المرئية للتحليل والعمليات والإبداع.

الغوص العميق

تعد المطالبة بالمطالبة (Hertz et al., 2022) تقنية خالية من التدريب للتحرير المستند إلى النص في نماذج النشر. الفكرة الأساسية هي أن خرائط الانتباه المتبادل، التي تخبر النموذج بمناطق الصورة التي يجب أن تؤثر عليها كل كلمة، تقوم بتشفير التخطيط المكاني للمشهد. عندما تقوم بإعادة إنشاء صورة باستخدام موجه معدل قليلاً، تقوم الطريقة بإدخال خرائط انتباه الموجه الأصلي في التشغيل الجديد. يؤدي استبدال كلمة، مثل "دراجة" بكلمة "دراجة نارية"، إلى تبديل هذا الكائن مع الحفاظ على التكوين والخلفية. تؤدي إضافة كلمة إلى لفت الانتباه فقط إلى الرموز المميزة التي لم تتغير، لذلك تظهر سمة جديدة دون تعديل كل شيء. يمكنك أيضًا إعادة وزن انتباه الرمز المميز لتقوية تأثيره أو إضعافه. نظرًا لأنه لا يتطلب أي ضبط أو أقنعة، فقد أصبح لبنة أساسية للعديد من طرق التحرير اللاحقة، بما في ذلك إنشاء بيانات InstructPix2Pix.

البصيرة الفنية

أثناء تقليل الضوضاء، يحسب الانتباه المتبادل، لكل رمز، خريطة مكانية لمكان وجوده في الصورة. تقوم ميزة "المطالبة بالمطالبة" بنسخ هذه الخرائط من الجيل الأصلي إلى الخريطة المعدلة للرموز المميزة المشتركة. بالنسبة لمبادلة الكلمات، فإنه يقوم بتخطيط الانتباه بين الرموز المميزة المقابلة؛ بالنسبة للكلمات المضافة، فإنه يحتفظ بالخرائط القديمة ويسمح فقط للرموز المميزة الجديدة بتشكيل اهتمام جديد؛ تعمل إعادة الوزن ببساطة على قياس قيم انتباه الرمز المميز، مما يؤدي إلى تكثيف تأثيره البصري أو كتمه.

إتقان التحرير الموجه إلى الموجه

تقوم ميزة "موجه إلى موجه" بتحرير الصورة التي تم إنشاؤها عن طريق تعديل موجه النص الخاص بها أثناء إعادة استخدام خرائط الانتباه الداخلية للنموذج، لذا فإن تغيير كلمة واحدة يؤدي إلى تبديل هذا العنصر مع الحفاظ على بقية المشهد سليمًا. يتم التحرير من خلال الكلمات، وليس البكسل. ينتمي تحرير الانتباه الموجه إلى الفوري إلى عمليات سير عمل الرؤية الحاسوبية التي تفسر أو تولد الوسائط المرئية للتحليل والعمليات والإبداع. لبناء فهم عميق، تعامل مع التحرير الموجه إلى الموجه كنموذج تشغيل، وليس كميزة واحدة: تحديد النتائج المرغوبة، وتوضيح الافتراضات، وفصل ما يمكن للنظام القيام به بشكل موثوق عما لا يزال يتطلب حكم الخبراء.

من الناحية العملية، تعمل الفرق القوية التي تستخدم التحرير الموجه إلى الموجه على موازنة الدقة مع الحقائق التشغيلية مثل جودة البيانات، وتباين الإضاءة، واتساق الملصقات. وهي تقوم بتوثيق معايير نجاح واضحة، واختبارها مقابل بيانات واقعية وسير العمل، والتكرار بناءً على أنماط الفشل الملحوظة بدلاً من الانتصارات المعيارية لمرة واحدة. وهذا هو المكان الذي يتحول فيه الفهم النظري إلى قدرة دائمة عبر المنتج والسياسة والعمليات.

يمكن للذكاء الاصطناعي المرئي أتمتة مهام الفحص والكشف ووضع العلامات على نطاق واسع. وفي الوقت نفسه، يمكن أن تصبح حقوق الصور والموافقة مخاطر قانونية إذا كان المصدر غير واضح. ويتمثل النهج الأكثر مرونة في الجمع بين سرعة التجريب وانضباط الحوكمة: تشغيل البرامج التجريبية، والتقاط الأدلة، ونشر سجلات القرارات، وتحديث الضمانات بشكل مستمر مع تطور سلوك النموذج، وتوقعات المستخدم، والمتطلبات التنظيمية.

التأثير الاستراتيجي

يمكن للذكاء الاصطناعي المرئي أتمتة مهام الفحص والكشف ووضع العلامات على نطاق واسع.

يمكن للذكاء الاصطناعي المرئي أتمتة مهام الفحص والكشف ووضع العلامات على نطاق واسع. وفي عمليات النشر عالية الجودة، تتم ترجمة ذلك إلى قواعد تشغيل قابلة للقياس، وحدود ملكية، وطقوس مراجعة متكررة حتى تتمكن الفرق من توسيع نطاق الثقة بدلاً من توسيع نطاق الغموض.

يمكن للفرق الإبداعية إنشاء نماذج أولية للمفاهيم بشكل أسرع مع عدد أقل من المراجعات اليدوية.

يمكن للفرق الإبداعية إنشاء نماذج أولية للمفاهيم بشكل أسرع مع عدد أقل من المراجعات اليدوية. وفي عمليات النشر عالية الجودة، تتم ترجمة ذلك إلى قواعد تشغيل قابلة للقياس، وحدود ملكية، وطقوس مراجعة متكررة حتى تتمكن الفرق من توسيع نطاق الثقة بدلاً من توسيع نطاق الغموض.

يمكن أن تستخدم العمليات إشارات الصور والفيديو التي كان من الصعب معالجتها في السابق.

يمكن أن تستخدم العمليات إشارات الصور والفيديو التي كان من الصعب معالجتها في السابق. وفي عمليات النشر عالية الجودة، تتم ترجمة ذلك إلى قواعد تشغيل قابلة للقياس، وحدود ملكية، وطقوس مراجعة متكررة حتى تتمكن الفرق من توسيع نطاق الثقة بدلاً من توسيع نطاق الغموض.

مستقبل التحرير عبر الانتباه الفوري

يدعم الآن التلاعب بالانتباه المتبادل مجموعة كاملة من أدوات الإنشاء التي يمكن التحكم فيها، وتمتد الأفكار إلى التحكم في الانتباه في البنى الأحدث ونشر الفيديو لإجراء تعديلات متسقة مؤقتًا. توقع تكاملًا أكثر إحكامًا مع تحرير الصور الحقيقية عبر الانقلاب، ومعالجة أكثر قوة للتغييرات الهيكلية الكبيرة، والدمج مع نماذج التعليمات بحيث تعمل حيل الانتباه بشكل غير مرئي ضمن واجهة بسيطة باللغة الطبيعية.

التنفيذ في العالم الحقيقي

يقوم المصمم بتغيير "سيارة حمراء في الشارع" إلى "سيارة زرقاء في الشارع" ويحتفظ بنفس تخطيط المشهد بالضبط.

يعيد أحد الرسامين وزن كلمة "ثلجي" ليجعل المشهد أكثر شتوية بشكل تدريجي عبر الاختلافات.

يستبدل أحد الراويين كلمة "أسد" بكلمة "نمر" في حثه على الاحتفاظ بوضعية وخلفية متطابقتين لورقة الأحرف.

يستخدمها أحد الباحثين لإنشاء صور قبل/بعد مقترنة كبيانات تدريب لمحرر متابعة التعليمات.

أنماط التنفيذ

تحرير الانتباه المتقاطع الفوري إلى الفوري في الممارسة العملية

يقوم المصمم بتغيير "سيارة حمراء في الشارع" إلى "سيارة زرقاء في الشارع" ويحتفظ بنفس تخطيط المشهد بالضبط.

يقوم المصمم بتغيير "سيارة حمراء في الشارع" إلى "سيارة زرقاء في الشارع" ويحتفظ بنفس تخطيط المشهد بالضبط. عادةً ما تحصل الفرق على نتائج أفضل عندما تحدد حدود الجودة مقدمًا، وتحتفظ بمسار تصعيد بشري لحالات الحافة، وتتتبع مكاسب الإنتاجية وتكاليف الخطأ مع مرور الوقت.

تحرير الانتباه المتقاطع الفوري إلى الفوري في الممارسة العملية

يعيد أحد الرسامين وزن كلمة "ثلجي" ليجعل المشهد أكثر شتوية بشكل تدريجي عبر الاختلافات.

يعيد أحد الرسامين وزن كلمة "ثلجي" لجعل المناظر الطبيعية أكثر شتوية بشكل تدريجي عبر الاختلافات. عادةً ما تحصل الفرق على نتائج أفضل عندما تحدد حدود الجودة مقدمًا، وتحافظ على مسار تصعيد بشري لحالات الحافة، وتتتبع مكاسب الإنتاجية وتكاليف الأخطاء بمرور الوقت.

تحرير الانتباه المتقاطع الفوري إلى الفوري في الممارسة العملية

يستبدل أحد الراويين كلمة "أسد" بكلمة "نمر" في حثه على الاحتفاظ بوضعية وخلفية متطابقتين لورقة الأحرف.

يستبدل الراوي كلمة "أسد" بكلمة "نمر" في مطالبة بالاحتفاظ بوضعية وخلفية متطابقتين لورقة الأحرف. عادةً ما تحصل الفرق على نتائج أفضل عندما تحدد حدود الجودة مقدمًا، وتحتفظ بمسار تصعيد بشري لحالات الحافة، وتتتبع مكاسب الإنتاجية وتكاليف الأخطاء بمرور الوقت.

تحرير الانتباه المتقاطع الفوري إلى الفوري في الممارسة العملية

يستخدمها أحد الباحثين لإنشاء صور قبل/بعد مقترنة كبيانات تدريب لمحرر متابعة التعليمات.

يستخدمه أحد الباحثين لإنشاء صور قبل/بعد مقترنة كبيانات تدريب لمحرر يتبع التعليمات. عادةً ما تحصل الفرق على نتائج أفضل عندما تحدد حدود الجودة مقدمًا، وتحتفظ بمسار تصعيد بشري لحالات الحافة، وتتتبع مكاسب الإنتاجية وتكاليف الأخطاء بمرور الوقت.

المخاطر والدرابزين

!

يمكن أن تصبح حقوق الصور والموافقة مخاطر قانونية إذا كان المصدر غير واضح.

!

يمكن أن يختلف أداء النموذج عبر الإضاءة والتركيبة السكانية والبيئات.

!

قد تمر الإيجابيات الكاذبة دون أن يلاحظها أحد ما لم تتم مراقبة عتبات الثقة.

خارطة طريق التنفيذ

1

تحديد معايير القبول لتكاليف الدقة والاستدعاء والخطأ.

تحديد معايير القبول لتكاليف الدقة والاستدعاء والخطأ. تعامل مع كل خطوة كبوابة دليل: إذا لم يتم استيفاء المعايير، قم بإيقاف التشغيل مؤقتًا، وسد الفجوة، وبعد ذلك فقط قم بتوسيع الاستخدام.

2

اختبار مع البيانات التي تتوافق مع ظروف الإنتاج الحقيقية.

اختبار مع البيانات التي تتوافق مع ظروف الإنتاج الحقيقية. تعامل مع كل خطوة كبوابة دليل: إذا لم يتم استيفاء المعايير، قم بإيقاف التشغيل مؤقتًا، وسد الفجوة، وبعد ذلك فقط قم بتوسيع الاستخدام.

3

أضف مراجعة بشرية للتنبؤات منخفضة الثقة أو عالية التأثير.

أضف مراجعة بشرية للتنبؤات منخفضة الثقة أو عالية التأثير. تعامل مع كل خطوة كبوابة دليل: إذا لم يتم استيفاء المعايير، قم بإيقاف التشغيل مؤقتًا، وسد الفجوة، وبعد ذلك فقط قم بتوسيع الاستخدام.

4

تتبع انحراف النموذج وإعادة التحقق من صحته بعد تغيير الكاميرا أو مجموعة البيانات.

تتبع انحراف النموذج وإعادة التحقق من صحته بعد تغيير الكاميرا أو مجموعة البيانات. تعامل مع كل خطوة كبوابة دليل: إذا لم يتم استيفاء المعايير، قم بإيقاف التشغيل مؤقتًا، وسد الفجوة، وبعد ذلك فقط قم بتوسيع الاستخدام.

استمر في الاستكشاف