التسرب والتنظيم العشوائي
Dropout عبارة عن خدعة تنظيمية تعمل على إيقاف تشغيل جزء من الخلايا العصبية بشكل عشوائي أثناء كل خطوة تدريب، مما يجبر الشبكة على إنشاء تمثيلات قوية زائدة عن الحاجة.
نظرة عامة
لقد أصبحت واحدة من أكثر التقنيات تأثيرًا في مكافحة التجاوز في التعلم العميق.
الغوص العميق
يعالج التسرب، الذي قدمته مجموعة هينتون في عام 2012 تقريبًا، نقطة ضعف رئيسية في الشبكات الكبيرة: يمكن للخلايا العصبية أن تتكيف بشكل مشترك، وتتعلم كيفية إصلاح أخطاء بعضها البعض بطرق لا تعمل إلا على بيانات التدريب. في كل تمريرة أمامية أثناء التدريب، يقوم التسرب بشكل عشوائي بتعيين مخرجات كل خلية عصبية إلى الصفر مع بعض الاحتمالية p (غالبًا 0.5 في الطبقات الكثيفة). ونظرًا لاحتمال اختفاء أي خلية عصبية، لا يمكن للشبكة الاعتماد على شراكات هشة ويجب عليها نشر معلومات مفيدة عبر العديد من الوحدات. وهذا بمثابة تدريب مجموعة ضخمة من الشبكات الضعيفة التي تتقاسم الأوزان. في وقت الاختبار، يتم إيقاف التسرب ويتم استخدام الشبكة بالكامل، مع زيادة حجم عمليات التنشيط بحيث يتطابق الناتج المتوقع مع التدريب. والنتيجة هي عادة تعميم أفضل على حساب تدريب أطول قليلا.
البصيرة الفنية
أثناء التدريب، يتم الاحتفاظ بكل وحدة مع الاحتمالية (1 ناقص p) عبر قناع ثنائي عشوائي، بحيث يتم أخذ عينات من شبكات فرعية مختلفة في كل دفعة. تستخدم الأطر الحديثة التسرب المقلوب: يتم تقسيم عمليات التنشيط الباقية على (1 ناقص p) في وقت التدريب، لذلك لا توجد حاجة للقياس عند الاستدلال. تؤدي هذه العشوائية إلى ضخ ضوضاء تثبط التكيف المشترك وتقارب متوسط عدد كبير من الشبكات الفرعية ذات الوزن المشترك، وهو شكل رخيص من أشكال التجميع.
التأثير الاستراتيجي
قرارات أوضح
يساعدك على فصل المطالبات الفنية الواضحة عن لغة التسويق.
التكلفة والميزانية
يمكنك طرح أسئلة تنفيذ أفضل قبل إنفاق المال أو الوقت.
الفريق وسير العمل
تتخذ الفرق ذات الفهم المشترك قرارات أفضل بشأن المنتجات والسياسات والتعلم.
مستقبل التسرب والتنظيم العشوائي
في شبكات الرؤية التلافيفية، أدت عملية تطبيع الدُفعات إلى حد كبير إلى إزاحة التسرب القياسي، لكن المتغيرات تزدهر في أماكن أخرى: تطبق المحولات التسرب على طبقات الانتباه والتغذية الأمامية، ويقوم DropPath (العمق العشوائي) بإسقاط كتل متبقية كاملة. يتم استخدام التسرب في مونت كارلو، والذي يبقي التسرب نشطًا عند الاستدلال، لتقدير عدم اليقين في النموذج. توقع أن يظل التنظيم العشوائي بمثابة مجموعة أدوات مرنة، يتم تكييفها حسب البنية بدلاً من وصفة واحدة ثابتة.
التنفيذ في العالم الحقيقي
إضافة طبقة Dropout مع p حوالي 0.5 بين الطبقات الكثيفة للصورة أو مصنف النص في PyTorch أو Keras
نماذج المحولات التي تطبق التسرب على أوزان الانتباه وتنشيط التغذية الأمامية أثناء التدريب المسبق
التسرب من مونت كارلو، حيث يظل التسرب قائمًا عند الاستدلال لإنتاج تقديرات عدم اليقين للتنبؤات الطبية أو التنبؤات الحرجة للسلامة
العمق العشوائي (DropPath) يتخطى الكتل المتبقية بشكل عشوائي لتنظيم الشبكات العميقة جدًا مثل ResNets ومحولات الرؤية
المخاطر والدرابزين
قد تستخدم الفرق المختلفة نفس المصطلح بشكل مختلف، لذا حدد النطاق مبكرًا.
يمكن أن تبدو المعايير قوية بينما يكون الأداء في العالم الحقيقي غير متساوٍ.
غالبًا ما يؤدي تجاهل جودة البيانات وخطط التقييم إلى نتائج هشة.
خارطة طريق التنفيذ
ابدأ بتعريف لغة واضحة للنتيجة التي تحتاجها.
اختر مقياس نجاح واحد وحالة فشل واحدة قبل الاختبار.
قم بتشغيل برنامج تجريبي صغير يحتوي على بيانات تمثيلية، وليس مجموعة تجريبية مصقولة.
قم بالتوثيق حيث يساعد التسرب والتنظيم العشوائي وأين تكون الطرق الأبسط أفضل.
استمر في الاستكشاف
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Dropout and Stochastic Regularization quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
الدليل التالي
الهبوط التدرج العشوائي مع الزخم
الأسئلة المتداولة
ما هو التسرب والتنظيم العشوائي؟
Dropout عبارة عن خدعة تنظيمية تعمل على إيقاف تشغيل جزء من الخلايا العصبية بشكل عشوائي أثناء كل خطوة تدريب، مما يجبر الشبكة على إنشاء تمثيلات قوية زائدة عن الحاجة. لقد أصبحت واحدة من أكثر التقنيات تأثيرًا في مكافحة التجاوز في التعلم العميق.
ماذا يفعل التسرب أثناء التدريب؟
يقوم التسرب بتصفية كل خلية عصبية بشكل عشوائي مع احتمال p أثناء التدريب، لذلك يتم استخدام شبكة فرعية رقيقة مختلفة في كل خطوة.
لماذا يؤدي التسرب إلى تحسين التعميم؟
ومن خلال إزالة الوحدات بشكل عشوائي، يمنع التسرب الخلايا العصبية من تكوين شراكات هشة تعمل فقط على بيانات التدريب، مما يؤدي إلى تحسين القوة.
ماذا يحدث للتسرب في وقت الاختبار (الاستدلال)؟
عند الاستدلال، تعمل الشبكة بالكامل مع تعطيل التسرب، ويتم قياس عمليات التنشيط بحيث تتوافق المخرجات المتوقعة مع توزيع التدريب.
معدل التسرب p = 0.5 في الطبقة ماذا يعني تقريبًا أثناء التدريب؟
مع p = 0.5، يكون لكل خلية عصبية فرصة بنسبة 50 بالمائة لتصفيرها، لذلك في المتوسط يتم إسقاط حوالي النصف في كل تمريرة للأمام.
ما الذي يوصف التسرب في كثير من الأحيان بأنه تقريبي؟
إن أخذ عينات من شبكة فرعية مختلفة في كل خطوة يقارب المتوسط على عدد كبير من الشبكات ذات الوزن المشترك، وهو شكل من أشكال التجميع الرخيص.