التاليالدليل التالي
التجزئة الإدراكية للصور شبه المكررة
الذكاء الاصطناعي البصري
دليل الذكاء الاصطناعي المرئي
فقدان الإدراك الحسي و LPIPS
Perceptual losses compare image representations from a neural network instead of relying only on pixel differences.
استمع إلى هذا الدليلرواه الذكاء الاصطناعي · ~2 min
في هذه الصفحةقراءة لمدة دقيقتين
نظرة عامة
LPIPS calibrates such feature distances against human similarity judgments, but no score guarantees that every image pair will be judged alike by every viewer.
الغوص العميق
تقارن الخسائر التقليدية مثل L2 (متوسط الخطأ التربيعي) الصور بكسل ببكسل، لذا فإن التحول بمقدار بكسل واحد أو نسيج مختلف قليلاً يبدو وكأنه خطأ فادح على الرغم من أن البشر بالكاد يلاحظون ذلك. بدلاً من ذلك، يقوم فقدان الإدراك بتشغيل كلتا الصورتين من خلال شبكة مدربة مسبقًا (غالبًا VGG) ويقارن عمليات التنشيط من الطبقات المتوسطة. نظرًا لأن هذه الميزات تقوم بتشفير الحواف والأنسجة وأجزاء الكائن بدلاً من قيم البكسل الدقيقة، فإن الخسارة تتوافق بشكل أفضل مع الحكم البشري، مما يشجع على الحصول على مخرجات واضحة ودقيقة لغويًا. LPIPS (تشابه تصحيح الصور الإدراكية المكتسبة)، قدمه Zhang et al. في عام 2018، يضفي الطابع الرسمي على هذا: فهو يستخرج الميزات العميقة، ويطبيعها، ويطبق الأوزان المكتسبة التي تمت معايرتها مقابل الآلاف من أحكام التشابه البشرية، مما ينتج عنه درجة مسافة واحدة حيث يعني الرقم الأقل تشابهًا أكثر إدراكيًا.
التنفيذ في العالم الحقيقي
تدريب الشبكات فائقة الدقة (على سبيل المثال، SRGAN) بحيث تبدو الصور التي تمت ترقيتها واضحة ومزخرفة وليست ضبابية.
تقييم ضغط الصور وبرامج الترميز من خلال تسجيل مدى قرب الصورة التي تم فك تشفيرها من الصورة الأصلية.
نقل النمط التوجيهي، حيث تتم مطابقة المحتوى عبر ميزات VGG العميقة بدلاً من وحدات البكسل الدقيقة.
قياس أداء GAN ومولدات الصور المنتشرة من خلال الإبلاغ عن مسافة LPIPS بين الصور التي تم إنشاؤها والصور الحقيقية.
مستقبل فقدان الإدراك الحسي و LPIPS
وتتحول المقاييس الإدراكية من العمود الفقري لشبكة CNN إلى ميزات من النماذج الخاضعة للإشراف الذاتي ومحولات الرؤية مثل DINO وCLIP، والتي تلتقط دلالات أكثر ثراءً. توقع تكاملًا أكثر إحكامًا مع التدريب على نموذج الانتشار وتقييم تحويل النص إلى صورة، بالإضافة إلى النتائج الإدراكية المضبوطة لتحقيق الاتساق الزمني للفيديو. يقوم الباحثون أيضًا بفحص النقاط العمياء في LPIPS: يمكن خداعه بشكل عدائي ويرتبط بشكل ضعيف بالجودة بدقة عالية جدًا، مما يحفز المقاييس الأحدث المتوافقة مع الإنسان مثل DISTS وأساليب التجميع.
وضعها موضع التنفيذ
لماذا يهم
- السرعة والحجم. يمكن للذكاء الاصطناعي المرئي أتمتة مهام الفحص والكشف ووضع العلامات على نطاق واسع.
- خيارات البناء. يمكن للفرق الإبداعية إنشاء نماذج أولية للمفاهيم بشكل أسرع مع عدد أقل من المراجعات اليدوية.
- الفريق وسير العمل. يمكن أن تستخدم العمليات إشارات الصور والفيديو التي كان من الصعب معالجتها في السابق.
احترس من
- يمكن أن تصبح حقوق الصور والموافقة مخاطر قانونية إذا كان المصدر غير واضح.
- يمكن أن يختلف أداء النموذج عبر الإضاءة والتركيبة السكانية والبيئات.
- قد تمر الإيجابيات الكاذبة دون أن يلاحظها أحد ما لم تتم مراقبة عتبات الثقة.
الخطوات التالية
- تحديد معايير القبول لتكاليف الدقة والاستدعاء والخطأ.
- اختبار مع البيانات التي تتوافق مع ظروف الإنتاج الحقيقية.
- أضف مراجعة بشرية للتنبؤات منخفضة الثقة أو عالية التأثير.
- تتبع انحراف النموذج وإعادة التحقق من صحته بعد تغيير الكاميرا أو مجموعة البيانات.
استمر في الاستكشاف
رسالة إخبارية مجانية
احصل على الإحاطة اليومية لمنظمة العفو الدولية
ثلاث قصص تم التحقق منها بواسطة الذكاء الاصطناعي كل صباح من أيام الأسبوع، مكتوبة باللغة الإنجليزية البسيطة. مجاني للأبد، بدون إعلانات.
بريد إلكتروني واحد كل يوم من أيام الأسبوع. إلغاء الاشتراك بنقرة واحدة. نحن لا نبيع أو نشارك عنوانك أبدًا.
اختبر نفسك
Take the Perceptual Loss and LPIPS quiz
تعليقات فورية على كل إجابة، وشهادة قابلة للمشاركة مع معرف يمكن التحقق منه بمجرد اجتياز الدورة التدريبية.
دعم تعليم الذكاء الاصطناعي المجاني. AI Understanding هي منظمة 501(c)(3) غير ربحية - لا إعلانات ولا نظام حظر الاشتراك غير المدفوع على الإطلاق. قم بالتبرع
الأسئلة المتداولة
What is Perceptual Loss and LPIPS?
Perceptual losses compare image representations from a neural network instead of relying only on pixel differences. LPIPS calibrates such feature distances against human similarity judgments, but no score guarantees that every image pair will be judged alike by every viewer.
لماذا غالبًا ما يخطئ فقدان L2 المعتمد على البكسل في الحكم على تشابه الصورة مقارنة بفقدان الإدراك الحسي؟
يقارن L2 وحدات البكسل مباشرة، لذلك يتم تسجيل التحولات المكانية الصغيرة أو اختلافات النسيج كأخطاء كبيرة حتى عندما تبدو الصورة جيدة لشخص ما.
ما الذي يقارن LPIPS بشكل أساسي بين صورتين؟
يستخرج LPIPS عمليات تنشيط الميزات العميقة من العمود الفقري الثابت ويقيس المسافة بينها، والتي تتوافق بشكل أفضل مع الإدراك البشري مقارنة بالبكسلات.
كيف تم تحديد الأوزان لكل قناة في LPIPS؟
تم تعلم الأوزان لتتناسب مع مجموعة بيانات كبيرة (BAPPS) لقرارات تشابه الاختيار القسري بين البديلين البشريين.
What does a lower LPIPS value indicate for a tested image pair?
LPIPS is calibrated to human similarity judgments, but its distance remains a model-based measure with limitations.
ما هي الشبكة الأساسية الأكثر شيوعًا المرتبطة بفقدان (الميزات) الإدراكية الكلاسيكية؟
أصبحت خرائط الميزات المتوسطة لـ VGG هي المعيار لفقدان الإدراك الحسي في مهام مثل الدقة الفائقة ونقل النمط.
استمر في التعلم
أدلة ذات صلة
تم اختيار المزيد من الأدلة لهذا الموضوع