الدليل الفني
أهداف InfoNCE وSimCLR
InfoNCE هي الخسارة التباينية التي تعلم النموذج كيفية سحب الأزواج المتطابقة معًا ودفع الأزواج غير المتطابقة بعيدًا في مساحة التضمين.
استمع إلى هذا الدليلرواه الذكاء الاصطناعي · ~2 min
في هذه الصفحةقراءة لمدة دقيقتين
نظرة عامة
SimCLR هو إطار عمل تاريخي يستخدم هذه الخسارة للتعرف على تمثيلات الصور القوية من البيانات غير المسماة، مما ينافس التدريب المسبق الخاضع للإشراف.
الغوص العميق
يقوم InfoNCE (تقدير تباين الضوضاء للمعلومات المتبادلة) بتدريب برنامج التشفير بحيث يكون للاستعلام وإيجابيته الحقيقية درجة تشابه أعلى من الاستعلام والعديد من السلبيات. إنها في الأساس عبارة عن إنتروبيا متقاطعة softmax على درجات التشابه: بالنسبة للمرساة، يجب أن يفوز الإيجابي على السلبيات. قام SimCLR (2020) بتفعيل هذا للصور: التقط صورة واحدة، وقم بتطبيق زيادتين عشوائيتين لإنشاء زوج إيجابي، وقم بتشغيل كليهما من خلال جهاز تشفير مشترك بالإضافة إلى رأس عرض، واستخدم الإنتروبيا المتقاطعة ذات مقياس درجة الحرارة الطبيعي (NT-Xent، أحد متغيرات InfoNCE) بحيث تنجذب المشاهدتان المعززتان بينما تعمل جميع الصور الأخرى في المجموعة كصور سلبية. أظهر SimCLR أن التعزيز القوي للبيانات، ورأس العرض غير الخطي، وأحجام الدُفعات الكبيرة، ودرجة الحرارة المضبوطة معًا تتيح للنماذج الخاضعة للإشراف الذاتي مطابقة النماذج الخاضعة للإشراف على ImageNet - دون أي تسميات أثناء التدريب المسبق.
التنفيذ في العالم الحقيقي
يقوم SimCLR بالتدريب المسبق لبرنامج تشفير الصور على الصور غير المسماة، ثم الضبط الدقيق على مجموعة صغيرة تحمل علامات للتصنيف.
CLIP يستخدم هدف InfoNCE لمطابقة الصور مع التسميات التوضيحية الخاصة بها، مما يتيح تصنيف الصور بدون لقطة.
إنشاء بحث/استرجاع مرئي حيث تكون الصور المتشابهة قريبة من بعضها البعض في مساحة التضمين المستفادة.
تدريب مسبق تحت الإشراف الذاتي للصور الطبية أو صور الأقمار الصناعية حيث تكون الملصقات نادرة ولكن البيانات الأولية وفيرة.
مستقبل أهداف InfoNCE وSimCLR
تنتشر الأهداف المتباينة إلى ما هو أبعد من SimCLR: يقوم CLIP بمحاذاة الصور مع النص باستخدام InfoNCE عبر الأساليب، ونفس الخسارة تدفع نماذج الصوت والفيديو والاسترجاع. تعمل الأبحاث الآن على تقليل الاعتماد على الدفعات الضخمة والعديد من السلبيات عبر بنوك الذاكرة (MoCo)، أو إزالة السلبيات الصريحة تمامًا (BYOL، SimSiam، DINO). توقع استمرار المزج بين التدريب المسبق على التباين والتقطير والنمذجة المقنعة، مع المحاذاة متعددة الوسائط (النص والصورة والصوت) كحدود سائدة للنماذج الأساسية.
وضعها موضع التنفيذ
لماذا يهم
- التكلفة والميزانية. تؤدي قرارات الهندسة المعمارية إلى زيادة الأداء وتكلفة التشغيل لسنوات.
- قرارات أوضح. يساعد التعليم الفني الفرق على اختيار المجموعة المناسبة، وليس فقط المجموعة الأحدث.
- مراقبة الجودة. تعمل الخيارات الهندسية الأفضل على تقليل حوادث الموثوقية في الإنتاج.
احترس من
- يمكن أن يؤدي تحسين معيار واحد إلى إخفاء نقاط ضعف النظام الأوسع.
- غالبًا ما يتم التقليل من تكاليف البنية التحتية والصيانة.
- يمكن أن تنمو الفجوات الأمنية وقابلية المراقبة عندما تصبح الأنظمة أكثر تعقيدًا.
الخطوات التالية
- تحديد الكمون والجودة وأهداف التكلفة قبل التنفيذ.
- المعيار في ظل ظروف التحميل والبيانات الواقعية.
- مراقبة الأدوات للأخطاء والانجراف وتأثير المستخدم.
- قم بإعداد مسارات التراجع والاستجابة للحوادث قبل القياس.
استمر في الاستكشاف
رسالة إخبارية مجانية
احصل على الإحاطة اليومية لمنظمة العفو الدولية
ثلاث قصص تم التحقق منها بواسطة الذكاء الاصطناعي كل صباح من أيام الأسبوع، مكتوبة باللغة الإنجليزية البسيطة. مجاني للأبد، بدون إعلانات.
بريد إلكتروني واحد كل يوم من أيام الأسبوع. إلغاء الاشتراك بنقرة واحدة. نحن لا نبيع أو نشارك عنوانك أبدًا.
اختبر نفسك
Take the InfoNCE and SimCLR Objectives quiz
تعليقات فورية على كل إجابة، وشهادة قابلة للمشاركة مع معرف يمكن التحقق منه بمجرد اجتياز الدورة التدريبية.
دعم تعليم الذكاء الاصطناعي المجاني. AI Understanding هي منظمة 501(c)(3) غير ربحية - لا إعلانات ولا نظام حظر الاشتراك غير المدفوع على الإطلاق. قم بالتبرع
الأسئلة المتداولة
ما هي أهداف InfoNCE وSimCLR؟
InfoNCE هي الخسارة التباينية التي تعلم النموذج كيفية سحب الأزواج المتطابقة معًا ودفع الأزواج غير المتطابقة بعيدًا في مساحة التضمين. SimCLR هو إطار عمل تاريخي يستخدم هذه الخسارة للتعرف على تمثيلات الصور القوية من البيانات غير المسماة، مما ينافس التدريب المسبق الخاضع للإشراف.
ما الذي يشجع هدف InfoNCE النموذج على القيام به؟
InfoNCE عبارة عن softmax على أوجه التشابه التي تكافئ التشابه العالي للتشابه الإيجابي الحقيقي والتشابه المنخفض للسلبيات.
في SimCLR، كيف يتم إنشاء زوج إيجابي؟
يقوم SimCLR بإنشاء زوج إيجابي من عرضين معززين لنفس الصورة المصدر؛ الصور الأخرى بمثابة سلبيات.
ما هو الدور الذي تلعبه درجة الحرارة τ في NT-Xent / InfoNCE؟
قسمة أوجه التشابه على τ قبل أن يتحكم softmax في مدى حدة الخسارة التي تميز الإيجابيات عن السلبيات الصعبة.
ماذا يحدث لرأس إسقاط SimCLR بعد التدريب المسبق؟
وجدت SimCLR أن الميزات قبل نقل رأس الإسقاط بشكل أفضل، لذلك يتم التخلص من الرأس بعد التدريب المسبق.
لماذا اعتمدت SimCLR على أحجام الدفعات الكبيرة؟
في SimCLR، تعمل الصور الأخرى في المجموعة كصور سلبية، لذا فإن الدُفعات الأكبر حجمًا تعطي المزيد من الصور السلبية وتعلمًا أقوى.
استمر في التعلم
أدلة ذات صلة
تم اختيار المزيد من الأدلة لهذا الموضوع