فرضية تذكرة اليانصيب
تقول فرضية تذكرة اليانصيب إنه داخل شبكة عصبية كبيرة تمت تهيئتها بشكل عشوائي، تخفي شبكة فرعية صغيرة - "التذكرة الفائزة" - والتي، إذا تم تدريبها بمفردها من نفس الأوزان الأولية، يمكن أن تطابق دقة الشبكة بأكملها.
نظرة عامة
It matters because it suggests we are training far more parameters than we actually need.
الغوص العميق
نشأت هذه الفرضية، التي اقترحها جوناثان فرانكل ومايكل كاربين في معهد ماساتشوستس للتكنولوجيا في عام 2018، من الأبحاث المتقنة. يمكنك عادةً تقليم شبكة مدربة إلى 10-20% من أوزانها دون فقدان الدقة، لكن تدريب تلك الشبكة الصغيرة من الصفر يفشل. وجد فرانكل وكاربين الحيلة: احتفظوا بالأوزان الأولية الأصلية للوصلات الباقية. ثم تتدرب تلك الشبكة الفرعية المتفرقة - التذكرة الفائزة - على الدقة الكاملة في عزلة، وفي بعض الأحيان أسرع من الشبكة الأصلية الكثيفة. لقد حددوا التذاكر من خلال "تشذيب الحجم التكراري": تدريب، وتقليم الأوزان ذات الحجم الأصغر، وإعادة الباقي إلى قيمها الأولية، ثم التكرار. تشير النتيجة إلى أن زيادة المعلمات الكثيفة تساعد بشكل أساسي على تحسين العثور على بنية متناثرة جيدة، وليس أن كل هذه الأوزان ضرورية بشكل فردي.
البصيرة الفنية
الإجراء الأساسي هو تقليم الحجم التكراري مع إعادة لف الوزن: بعد التدريب، قم بإزالة الأوزان ذات الحجم الأدنى، ثم أعد ضبط الأوزان المتبقية على بدايتها الأصلية (أو نقطة تفتيش التدريب المبكر، وهو تحسين يسمى "اللف")، ثم أعد التدريب. إن الجمع بين قناع متفرق محدد والتهيئة المتطابقة له هو ما يجعل التذكرة "تفوز" - حيث تؤدي إعادة تهيئة نفس القناع بشكل عشوائي إلى تدمير التأثير.
التأثير الاستراتيجي
قرارات أوضح
يساعدك على فصل المطالبات الفنية الواضحة عن لغة التسويق.
التكلفة والميزانية
يمكنك طرح أسئلة تنفيذ أفضل قبل إنفاق المال أو الوقت.
الفريق وسير العمل
تتخذ الفرق ذات الفهم المشترك قرارات أفضل بشأن المنتجات والسياسات والتعلم.
مستقبل فرضية تذكرة اليانصيب
تعمل تذاكر اليانصيب على تعزيز الأبحاث حول تدريب الشبكات المتفرقة منذ البداية لتوفير الحوسبة والطاقة، وما إذا كانت التذاكر تنتقل عبر مجموعات البيانات والمهام. لا يزال توسيع نطاق التقليم التكراري إلى نماذج ذات مليار معلمة مكلفًا، لذا يستمر العمل على العثور على التذاكر بسعر رخيص أو إثبات وجودها (تقول فرضية تذكرة اليانصيب "القوية" إن التذاكر موجودة عند التهيئة دون أي تدريب على الإطلاق). توقع الارتباطات مع النماذج الفعالة الموجودة على الجهاز والذكاء الاصطناعي الأخضر.
التنفيذ في العالم الحقيقي
ضغط مصنف صور كبير إلى أقل من 20% من أوزانه لنشره على الهاتف مع الحفاظ على الدقة
تسريع التدريب من خلال تحديد وتدريب شبكة فرعية قليلة الفوز فقط
دراسة قابلية نقل الوزن عن طريق إعادة استخدام تذكرة موجودة في إحدى مجموعات البيانات لبدء التدريب على مجموعة ذات صلة
تقليل طاقة الاستدلال والذاكرة في الأجهزة المتطورة عن طريق شحن التذكرة الفائزة بدلاً من النموذج الكثيف
المخاطر والدرابزين
قد تستخدم الفرق المختلفة نفس المصطلح بشكل مختلف، لذا حدد النطاق مبكرًا.
يمكن أن تبدو المعايير قوية بينما يكون الأداء في العالم الحقيقي غير متساوٍ.
غالبًا ما يؤدي تجاهل جودة البيانات وخطط التقييم إلى نتائج هشة.
خارطة طريق التنفيذ
ابدأ بتعريف لغة واضحة للنتيجة التي تحتاجها.
اختر مقياس نجاح واحد وحالة فشل واحدة قبل الاختبار.
قم بتشغيل برنامج تجريبي صغير يحتوي على بيانات تمثيلية، وليس مجموعة تجريبية مصقولة.
قم بالتوثيق حيثما تساعد فرضية تذكرة اليانصيب وأين تكون الطرق الأبسط أفضل.
استمر في الاستكشاف
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Lottery Ticket Hypothesis quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
الدليل التالي
شينشيلا حساب التدريب الأمثل
الأسئلة المتداولة
What is Lottery Ticket Hypothesis?
تقول فرضية تذكرة اليانصيب إنه داخل شبكة عصبية كبيرة تمت تهيئتها بشكل عشوائي، تخفي شبكة فرعية صغيرة - "التذكرة الفائزة" - والتي، إذا تم تدريبها بمفردها من نفس الأوزان الأولية، يمكن أن تطابق دقة الشبكة بأكملها. إنه أمر مهم لأنه يشير إلى أننا نقوم بتدريب معلمات أكثر بكثير مما نحتاجه بالفعل.
ما هي "التذكرة الفائزة" في هذه الفرضية؟
التذكرة الفائزة عبارة عن شبكة فرعية صغيرة، والتي عند تدريبها بمعزل عن نفس الأوزان الأولية، تصل إلى دقة مماثلة للشبكة الكثيفة.
لماذا يفشل عادةً تدريب الشبكة الفرعية المقطوعة إلا إذا قمت بشيء خاص؟
الفكرة الأساسية هي أن القناع المتناثر يعمل فقط عند إقرانه بالتهيئة الأصلية المتطابقة؛ إعادة التهيئة العشوائية تكسرها.
من الذي اقترح فرضية تذكرة اليانصيب؟
قدم جوناثان فرانكل ومايكل كاربين هذه الفرضية في ورقتهما البحثية لعام 2018 في معهد ماساتشوستس للتكنولوجيا.
ما هي التقنية المستخدمة للعثور على التذاكر الفائزة؟
يتم تدريب التقليم التكراري بشكل متكرر، وإزالة الأوزان ذات الحجم الأصغر، وإعادة الباقي إلى قيمها الأولية.
ماذا تقترح الفرضية حول الشبكات الكبيرة ذات المعلمات الزائدة؟
تشير النتيجة إلى أن زيادة المعلمات تساعد في البحث عن شبكة فرعية متفرقة قابلة للتدريب بدلاً من أن يكون كل وزن ضروريًا.