التاليالدليل التالي
وضع العلامات الزائفة والتدريب الذاتي
التقنية
الدليل الفني
BYOL والإشراف الذاتي غير المتناقض
يتعرف BYOL (Bootstrap Your Own Lant) على تمثيلات الصور المفيدة دون أي تسميات، وبشكل مدهش، بدون أمثلة سلبية.
استمع إلى هذا الدليلرواه الذكاء الاصطناعي · ~2 min
في هذه الصفحةقراءة لمدة دقيقتين
نظرة عامة
لقد أظهر أن التعلم الخاضع للإشراف الذاتي لا يحتاج إلى الاعتماد على تفريق الصور المتباينة، وتجاوز الحاجة إلى مجموعات ضخمة من السلبيات.
الغوص العميق
كانت معظم أساليب الإشراف الذاتي المبكرة متناقضة: فقد قاموا بسحب عرضين معززين لنفس الصورة معًا أثناء فصل الصور المختلفة عن بعضها البعض، الأمر الذي يتطلب العديد من العينات السلبية لتجنب الانهيار (حيث تقوم الشبكة بإخراج نفس المتجه لكل شيء). أزال BYOL، من DeepMind في عام 2020، السلبيات بالكامل. يستخدم شبكتين: شبكة عبر الإنترنت وشبكة مستهدفة. يتم عرض عرضين معززين لصورة واحدة عبر الشبكتين؛ تضيف الشبكة عبر الإنترنت رأسًا للتنبؤ ويتم تدريبها على التنبؤ بتمثيل الشبكة المستهدفة للعرض الآخر. والأهم من ذلك، أن أوزان الشبكة المستهدفة لا يتم تدريبها عن طريق النسب المتدرج. وبدلا من ذلك، فهي عبارة عن متوسط متحرك أسي (EMA) للأوزان عبر الإنترنت. يمنع عدم التماثل هذا بالإضافة إلى هدف EMA الانهيار التافه للطرق التباينية المخيفة، أو مطابقة أو التغلب على خطوط الأساس المتباينة على ImageNet.
التنفيذ في العالم الحقيقي
التدريب المسبق للعمود الفقري للرؤية على ملايين الصور غير المسماة، ثم الضبط الدقيق على مجموعة بيانات صغيرة للتصوير الطبي، حيث تندر شروح الخبراء.
تعلم ميزات إدراك الروبوت من تدفقات الكاميرا الأولية دون وضع علامات يدوية، مما يقلل من تكلفة تدريس مهام التلاعب.
بناء أنظمة استرجاع الصور وإلغاء البيانات المكررة باستخدام تضمينات BYOL التي تجمع الصور المتشابهة بصريًا دون أي تسميات فئة.
تهيئة نماذج الصور الفضائية أو الجوية على أرشيفات ضخمة غير مُسماة قبل الضبط الدقيق لتصنيف استخدام الأراضي أو إزالة الغابات.
مستقبل BYOL والإشراف الذاتي غير المتناقض
أصبحت الأفكار غير التعارضية ترتكز الآن على جزء كبير من الرؤية الخاضعة للإشراف الذاتي. قام SimSiam بتجريد BYOL بشكل أكبر، موضحًا أن هدف EMA ليس مطلوبًا بشكل صارم إذا تم الحفاظ على تدرج التوقف، مما يؤدي إلى تعميق فهم سبب تجنب الانهيار. توقع أن تستمر وصفات التدريب المسبق الخالية من الملصقات في الاندماج مع نمذجة الصور المقنعة والتدريب متعدد الوسائط، وأن تنتشر إلى الفيديو والصوت والتصوير الطبي والروبوتات حيث تكون الملصقات نادرة أو باهظة الثمن، وغالبًا ما تكون هذه مرحلة التدريب المسبق قبل الضبط الدقيق الخفيف الوزن تحت الإشراف.
وضعها موضع التنفيذ
لماذا يهم
- التكلفة والميزانية. تؤدي قرارات الهندسة المعمارية إلى زيادة الأداء وتكلفة التشغيل لسنوات.
- قرارات أوضح. يساعد التعليم الفني الفرق على اختيار المجموعة المناسبة، وليس فقط المجموعة الأحدث.
- مراقبة الجودة. تعمل الخيارات الهندسية الأفضل على تقليل حوادث الموثوقية في الإنتاج.
احترس من
- يمكن أن يؤدي تحسين معيار واحد إلى إخفاء نقاط ضعف النظام الأوسع.
- غالبًا ما يتم التقليل من تكاليف البنية التحتية والصيانة.
- يمكن أن تنمو الفجوات الأمنية وقابلية المراقبة عندما تصبح الأنظمة أكثر تعقيدًا.
الخطوات التالية
- تحديد الكمون والجودة وأهداف التكلفة قبل التنفيذ.
- المعيار في ظل ظروف التحميل والبيانات الواقعية.
- مراقبة الأدوات للأخطاء والانجراف وتأثير المستخدم.
- قم بإعداد مسارات التراجع والاستجابة للحوادث قبل القياس.
استمر في الاستكشاف
رسالة إخبارية مجانية
احصل على الإحاطة اليومية لمنظمة العفو الدولية
ثلاث قصص تم التحقق منها بواسطة الذكاء الاصطناعي كل صباح من أيام الأسبوع، مكتوبة باللغة الإنجليزية البسيطة. مجاني للأبد، بدون إعلانات.
بريد إلكتروني واحد كل يوم من أيام الأسبوع. إلغاء الاشتراك بنقرة واحدة. نحن لا نبيع أو نشارك عنوانك أبدًا.
اختبر نفسك
Take the BYOL and Non-Contrastive Self-Supervision quiz
تعليقات فورية على كل إجابة، وشهادة قابلة للمشاركة مع معرف يمكن التحقق منه بمجرد اجتياز الدورة التدريبية.
دعم تعليم الذكاء الاصطناعي المجاني. AI Understanding هي منظمة 501(c)(3) غير ربحية - لا إعلانات ولا نظام حظر الاشتراك غير المدفوع على الإطلاق. قم بالتبرع
الأسئلة المتداولة
ما هو BYOL والإشراف الذاتي غير التقابلي؟
يتعرف BYOL (Bootstrap Your Own Lant) على تمثيلات الصور المفيدة دون أي تسميات، وبشكل مدهش، بدون أمثلة سلبية. لقد أظهر أن التعلم الخاضع للإشراف الذاتي لا يحتاج إلى الاعتماد على تفريق الصور المتباينة، وتجاوز الحاجة إلى مجموعات ضخمة من السلبيات.
What makes BYOL non-contrastive?
The BYOL paper highlights learning representations without negative pairs.
What does the online network learn to predict?
BYOL trains the online branch to predict the target representation across two views.
How are target-network weights updated?
The paper describes updating the target with a slow-moving average.
Why does BYOL use an online predictor and stop-gradient on the target side?
The BYOL method uses asymmetry and a stop-gradient as parts of its design.
What happens to two views of the same image in BYOL?
The paper learns by predicting one view’s target representation from another.
استمر في التعلم
أدلة ذات صلة
تم اختيار المزيد من الأدلة لهذا الموضوع