BYOL والإشراف الذاتي غير المتناقض
يتعرف BYOL (Bootstrap Your Own Lant) على تمثيلات الصور المفيدة دون أي تسميات، وبشكل مدهش، بدون أمثلة سلبية.
نظرة عامة
It showed that self-supervised learning need not rely on pushing apart dissimilar images, sidestepping the need for huge batches of negatives.
الغوص العميق
كانت معظم أساليب الإشراف الذاتي المبكرة متناقضة: فقد قاموا بسحب عرضين معززين لنفس الصورة معًا أثناء فصل الصور المختلفة عن بعضها البعض، الأمر الذي يتطلب العديد من العينات السلبية لتجنب الانهيار (حيث تقوم الشبكة بإخراج نفس المتجه لكل شيء). أزال BYOL، من DeepMind في عام 2020، السلبيات بالكامل. يستخدم شبكتين: شبكة عبر الإنترنت وشبكة مستهدفة. يتم عرض عرضين معززين لصورة واحدة عبر الشبكتين؛ تضيف الشبكة عبر الإنترنت رأسًا للتنبؤ ويتم تدريبها على التنبؤ بتمثيل الشبكة المستهدفة للعرض الآخر. والأهم من ذلك، أن أوزان الشبكة المستهدفة لا يتم تدريبها عن طريق النسب المتدرج. وبدلا من ذلك، فهي عبارة عن متوسط متحرك أسي (EMA) للأوزان عبر الإنترنت. يمنع عدم التماثل هذا بالإضافة إلى هدف EMA الانهيار التافه للطرق التباينية المخيفة، أو مطابقة أو التغلب على خطوط الأساس المتباينة على ImageNet.
البصيرة الفنية
ثلاثة مكونات توقف الانهيار بدون سلبيات: توقع إضافي MLP على الفرع عبر الإنترنت، وتدرج توقف على الفرع المستهدف، وهدف محدث بواسطة EMA. يعمل الهدف كهدف انحداري يتحرك ببطء، وبالتالي فإن الشبكة عبر الإنترنت تسعى إلى تحقيق هدف مستقر ومتأخر بدلاً من أن تكون نسخة متحركة من نفسها. يؤدي عدم تناسق المتنبئ إلى كسر التماثل الذي من شأنه أن يسمح لكلا الفرعين بإخراج ثابت بشكل تافه. تساهم تسوية الدفعة في جهاز العرض أيضًا في التسوية الضمنية.
التأثير الاستراتيجي
التكلفة والميزانية
تؤدي قرارات الهندسة المعمارية إلى زيادة الأداء وتكلفة التشغيل لسنوات.
قرارات أوضح
يساعد التعليم الفني الفرق على اختيار المجموعة المناسبة، وليس فقط المجموعة الأحدث.
مراقبة الجودة
تعمل الخيارات الهندسية الأفضل على تقليل حوادث الموثوقية في الإنتاج.
مستقبل BYOL والإشراف الذاتي غير المتناقض
أصبحت الأفكار غير التعارضية ترتكز الآن على جزء كبير من الرؤية الخاضعة للإشراف الذاتي. قام SimSiam بتجريد BYOL بشكل أكبر، موضحًا أن هدف EMA ليس مطلوبًا بشكل صارم إذا تم الحفاظ على تدرج التوقف، مما يؤدي إلى تعميق فهم سبب تجنب الانهيار. توقع أن تستمر وصفات التدريب المسبق الخالية من الملصقات في الاندماج مع نمذجة الصور المقنعة والتدريب متعدد الوسائط، وأن تنتشر إلى الفيديو والصوت والتصوير الطبي والروبوتات حيث تكون الملصقات نادرة أو باهظة الثمن، وغالبًا ما تكون هذه مرحلة التدريب المسبق قبل الضبط الدقيق الخفيف الوزن تحت الإشراف.
التنفيذ في العالم الحقيقي
التدريب المسبق للعمود الفقري للرؤية على ملايين الصور غير المسماة، ثم الضبط الدقيق على مجموعة بيانات صغيرة للتصوير الطبي، حيث تندر شروح الخبراء.
تعلم ميزات إدراك الروبوت من تدفقات الكاميرا الأولية دون وضع علامات يدوية، مما يقلل من تكلفة تدريس مهام التلاعب.
بناء أنظمة استرجاع الصور وإلغاء البيانات المكررة باستخدام تضمينات BYOL التي تجمع الصور المتشابهة بصريًا دون أي تسميات فئة.
تهيئة نماذج الصور الفضائية أو الجوية على أرشيفات ضخمة غير مُسماة قبل الضبط الدقيق لتصنيف استخدام الأراضي أو إزالة الغابات.
المخاطر والدرابزين
يمكن أن يؤدي تحسين معيار واحد إلى إخفاء نقاط ضعف النظام الأوسع.
غالبًا ما يتم التقليل من تكاليف البنية التحتية والصيانة.
يمكن أن تنمو الفجوات الأمنية وقابلية المراقبة عندما تصبح الأنظمة أكثر تعقيدًا.
خارطة طريق التنفيذ
تحديد الكمون والجودة وأهداف التكلفة قبل التنفيذ.
المعيار في ظل ظروف التحميل والبيانات الواقعية.
مراقبة الأدوات للأخطاء والانجراف وتأثير المستخدم.
قم بإعداد مسارات التراجع والاستجابة للحوادث قبل القياس.
استمر في الاستكشاف
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the BYOL and Non-Contrastive Self-Supervision quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
الدليل التالي
وضع العلامات الزائفة والتدريب الذاتي
الأسئلة المتداولة
What is BYOL and Non-Contrastive Self-Supervision?
يتعرف BYOL (Bootstrap Your Own Lant) على تمثيلات الصور المفيدة دون أي تسميات، وبشكل مدهش، بدون أمثلة سلبية. لقد أظهر أن التعلم الخاضع للإشراف الذاتي لا يحتاج إلى الاعتماد على تفريق الصور المتباينة، وتجاوز الحاجة إلى مجموعات ضخمة من السلبيات.
ما الذي يجعل BYOL مميزًا بين أساليب الإشراف الذاتي في عصره؟
أظهر BYOL أن التعلم التمثيلي القوي ممكن بدون أزواج سلبية، وكسر النهج المتباين.
كيف يتم تحديث أوزان الشبكة المستهدفة في BYOL؟
الشبكة المستهدفة هي EMA (نسخة بطيئة الحركة) من الشبكة عبر الإنترنت ولا يتم تدريبها عن طريق النسب المتدرج.
ما هي المشكلة التي يخشى الناس حدوثها عند إزالة السلبيات، ولماذا يهم؟
بدون السلبيات، يمكن أن ينهار الإعداد الساذج إلى مخرجات ثابتة؛ تصميم BYOL يمنع ذلك.
ما هو المكون الذي تتم إضافته فقط إلى الفرع عبر الإنترنت لكسر التماثل؟
يحتوي الفرع عبر الإنترنت على رأس توقع إضافي؛ إن عدم التماثل الذي يخلقه هو المفتاح لتجنب الانهيار.
ما هي شبكة الإنترنت التي تم تدريبها فعليًا للقيام بها؟
يعمل BYOL على تقليل الفرق بين التنبؤ عبر الإنترنت وتمثيل الهدف للعرض الآخر.