أهداف InfoNCE وSimCLR
InfoNCE هي الخسارة التباينية التي تعلم النموذج كيفية سحب الأزواج المتطابقة معًا ودفع الأزواج غير المتطابقة بعيدًا في مساحة التضمين.
نظرة عامة
SimCLR is a landmark framework that used this loss to learn powerful image representations from unlabeled data, rivaling supervised pretraining.
الغوص العميق
يقوم InfoNCE (تقدير تباين الضوضاء للمعلومات المتبادلة) بتدريب برنامج التشفير بحيث يكون للاستعلام وإيجابيته الحقيقية درجة تشابه أعلى من الاستعلام والعديد من السلبيات. إنها في الأساس عبارة عن إنتروبيا متقاطعة softmax على درجات التشابه: بالنسبة للمرساة، يجب أن يفوز الإيجابي على السلبيات. قام SimCLR (2020) بتفعيل هذا للصور: التقط صورة واحدة، وقم بتطبيق زيادتين عشوائيتين لإنشاء زوج إيجابي، وقم بتشغيل كليهما من خلال جهاز تشفير مشترك بالإضافة إلى رأس عرض، واستخدم الإنتروبيا المتقاطعة ذات مقياس درجة الحرارة الطبيعي (NT-Xent، أحد متغيرات InfoNCE) بحيث تنجذب المشاهدتان المعززتان بينما تعمل جميع الصور الأخرى في المجموعة كصور سلبية. أظهر SimCLR أن التعزيز القوي للبيانات، ورأس العرض غير الخطي، وأحجام الدُفعات الكبيرة، ودرجة الحرارة المضبوطة معًا تتيح للنماذج الخاضعة للإشراف الذاتي مطابقة النماذج الخاضعة للإشراف على ImageNet - دون أي تسميات أثناء التدريب المسبق.
البصيرة الفنية
يحسب NT-Xent تشابه جيب التمام بين التضمينات المقيسة L2، ويقسمها على درجة الحرارة τ، ويطبق الإنتروبيا المتقاطعة softmax التي تعالج الإيجابية باعتبارها الفئة الصحيحة بين جميع الأمثلة المجمعة. يؤدي انخفاض τ إلى زيادة حدة التوزيع ومعاقبة السلبيات الصعبة بشكل أكبر. يتم استخدام رأس إسقاط SimCLR (MLP) فقط أثناء التدريب المسبق ويتم التخلص منه بعد ذلك - حيث تكون التمثيلات قبل نقل الرأس أفضل. الدفعات الكبيرة مهمة لأنها توفر العديد من السلبيات في خطوة واحدة.
التأثير الاستراتيجي
التكلفة والميزانية
تؤدي قرارات الهندسة المعمارية إلى زيادة الأداء وتكلفة التشغيل لسنوات.
قرارات أوضح
يساعد التعليم الفني الفرق على اختيار المجموعة المناسبة، وليس فقط المجموعة الأحدث.
مراقبة الجودة
تعمل الخيارات الهندسية الأفضل على تقليل حوادث الموثوقية في الإنتاج.
مستقبل أهداف InfoNCE وSimCLR
تنتشر الأهداف المتباينة إلى ما هو أبعد من SimCLR: يقوم CLIP بمحاذاة الصور مع النص باستخدام InfoNCE عبر الأساليب، ونفس الخسارة تدفع نماذج الصوت والفيديو والاسترجاع. تعمل الأبحاث الآن على تقليل الاعتماد على الدفعات الضخمة والعديد من السلبيات عبر بنوك الذاكرة (MoCo)، أو إزالة السلبيات الصريحة تمامًا (BYOL، SimSiam، DINO). توقع استمرار المزج بين التدريب المسبق على التباين والتقطير والنمذجة المقنعة، مع المحاذاة متعددة الوسائط (النص والصورة والصوت) كحدود سائدة للنماذج الأساسية.
التنفيذ في العالم الحقيقي
يقوم SimCLR بالتدريب المسبق لبرنامج تشفير الصور على الصور غير المسماة، ثم الضبط الدقيق على مجموعة صغيرة تحمل علامات للتصنيف.
CLIP يستخدم هدف InfoNCE لمطابقة الصور مع التسميات التوضيحية الخاصة بها، مما يتيح تصنيف الصور بدون لقطة.
إنشاء بحث/استرجاع مرئي حيث تكون الصور المتشابهة قريبة من بعضها البعض في مساحة التضمين المستفادة.
تدريب مسبق تحت الإشراف الذاتي للصور الطبية أو صور الأقمار الصناعية حيث تكون الملصقات نادرة ولكن البيانات الأولية وفيرة.
المخاطر والدرابزين
يمكن أن يؤدي تحسين معيار واحد إلى إخفاء نقاط ضعف النظام الأوسع.
غالبًا ما يتم التقليل من تكاليف البنية التحتية والصيانة.
يمكن أن تنمو الفجوات الأمنية وقابلية المراقبة عندما تصبح الأنظمة أكثر تعقيدًا.
خارطة طريق التنفيذ
تحديد الكمون والجودة وأهداف التكلفة قبل التنفيذ.
المعيار في ظل ظروف التحميل والبيانات الواقعية.
مراقبة الأدوات للأخطاء والانجراف وتأثير المستخدم.
قم بإعداد مسارات التراجع والاستجابة للحوادث قبل القياس.
استمر في الاستكشاف
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the InfoNCE and SimCLR Objectives quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
الدليل التالي
Lookahead و Lion Optimizers
الأسئلة المتداولة
What is InfoNCE and SimCLR Objectives?
InfoNCE هي الخسارة التباينية التي تعلم النموذج كيفية سحب الأزواج المتطابقة معًا ودفع الأزواج غير المتطابقة بعيدًا في مساحة التضمين. SimCLR هو إطار عمل تاريخي يستخدم هذه الخسارة للتعرف على تمثيلات الصور القوية من البيانات غير المسماة، مما ينافس التدريب المسبق الخاضع للإشراف.
ما الذي يشجع هدف InfoNCE النموذج على القيام به؟
InfoNCE عبارة عن softmax على أوجه التشابه التي تكافئ التشابه العالي للتشابه الإيجابي الحقيقي والتشابه المنخفض للسلبيات.
في SimCLR، كيف يتم إنشاء زوج إيجابي؟
يقوم SimCLR بإنشاء زوج إيجابي من عرضين معززين لنفس الصورة المصدر؛ الصور الأخرى بمثابة سلبيات.
ما هو الدور الذي تلعبه درجة الحرارة τ في NT-Xent / InfoNCE؟
قسمة أوجه التشابه على τ قبل أن يتحكم softmax في مدى حدة الخسارة التي تميز الإيجابيات عن السلبيات الصعبة.
ماذا يحدث لرأس إسقاط SimCLR بعد التدريب المسبق؟
وجدت SimCLR أن الميزات قبل نقل رأس الإسقاط بشكل أفضل، لذلك يتم التخلص من الرأس بعد التدريب المسبق.
لماذا اعتمدت SimCLR على أحجام الدفعات الكبيرة؟
في SimCLR، تعمل الصور الأخرى في المجموعة كصور سلبية، لذا فإن الدُفعات الأكبر حجمًا تعطي المزيد من الصور السلبية وتعلمًا أقوى.