الإفراط في التجهيز وعدم التجهيز
التجهيز الزائد يحدث عندما يحفظ النموذج بيانات التدريب الخاصة به ويفشل في الأمثلة الجديدة؛ يحدث النقص في التجهيز عندما يكون من السهل جدًا التقاط النمط الحقيقي.
نظرة عامة
Hitting the sweet spot between them is the central challenge of machine learning.
الغوص العميق
يتناسب كل نموذج مع مجموعة تدريب محدودة، ولكن الهدف هو الأداء الجيد على البيانات غير المرئية. يتعامل نموذج التناسب الزائد مع الضوضاء والمراوغات في مجموعة التدريب كما لو كانت إشارة حقيقية: قد يسجل 99% في بيانات التدريب ولكنه ينهار إلى 70% في مجموعة الاختبار. النموذج غير المناسب هو المشكلة المعاكسة، فهو جامد جدًا بحيث لا يمكنه التقاط البنية الأساسية، لذلك يكون أداؤه سيئًا في كل من بيانات التدريب والاختبار. الفجوة بين التدريب وأداء الاختبار هي العلامة الواضحة. يظهر عدم المطابقة على أنه خطأ مرتفع في كل مكان (انحياز عالي)؛ يظهر التجهيز الزائد على أنه خطأ تدريب منخفض ولكن خطأ اختبار مرتفع (تباين عالٍ). المهارة هي التعرف على المشكلة التي تواجهك، لأن الإصلاحات تسير في اتجاهين متعاكسين.
البصيرة الفنية
إن الإفراط في التجهيز وعدم التجهيز هما طرفي مقايضة التحيز والتباين. التحيز هو خطأ ناتج عن افتراضات مبالغ فيها. التباين هو خطأ بسبب الحساسية المفرطة لعينة تدريب محددة. النموذج الخطي الصغير ذو انحياز عالي وتباين منخفض (غير ملائم)؛ النموذج الضخم غير المقيد له انحياز منخفض وتباين عالٍ (تجاوز). يتحلل إجمالي الخطأ المتوقع تقريبًا إلى مربع التحيز بالإضافة إلى التباين بالإضافة إلى الضوضاء غير القابلة للاختزال. يكتشف الممارسون المشكلة من خلال مقارنة دقة مجموعة التدريب مع مجموعة التحقق من الصحة، ومراقبة مكان تباعد المنحنيين.
التأثير الاستراتيجي
قرارات أوضح
يساعدك على فصل المطالبات الفنية الواضحة عن لغة التسويق.
التكلفة والميزانية
يمكنك طرح أسئلة تنفيذ أفضل قبل إنفاق المال أو الوقت.
الفريق وسير العمل
تتخذ الفرق ذات الفهم المشترك قرارات أفضل بشأن المنتجات والسياسات والتعلم.
مستقبل الإفراط في التجهيز وعدم التجهيز
تظل هذه المفاهيم أساسية، لكن الشبكات العصبية الكبيرة جدًا أدت إلى تعقيد الصورة الكلاسيكية. يمكن أن تحتوي النماذج الحديثة على معلمات أكثر بكثير من نقاط البيانات ومع ذلك لا تزال تعمم بشكل جيد، وهو نظام مفاجئ يسمى أحيانًا "الهبوط المزدوج" حيث ينخفض خطأ الاختبار مرة أخرى بعد ذروة التجهيز الزائد. تركز الأبحاث بشكل متزايد على سبب تعميم النماذج ذات المعلمات الزائدة، ودور التنظيم الضمني في أدوات التحسين، والكشف الآلي الأفضل عن تحول التوزيع. توقع تشخيصات أكثر ثراءً تشير إلى فرط التجهيز في الإنتاج مع ابتعاد بيانات العالم الحقيقي عن بيانات التدريب.
التنفيذ في العالم الحقيقي
عامل تصفية البريد العشوائي الذي يقوم بوضع علامة على كل بريد إلكتروني يحتوي على اسم مرسل محدد لأن هذا المرسل قد أرسل بريدًا عشوائيًا بشكل كبير في بيانات التدريب، مما يؤدي إلى فقدان مرسلي البريد العشوائي الجدد تمامًا (التركيب الزائد).
نموذج سعر المنزل يستخدم المساحة المربعة فقط ويتجاهل الموقع وغرف النوم والحالة، لذا فهو يخطئ بشدة في الأحياء باهظة الثمن (غير ملائم).
مصنف صور طبية يتعلم اكتشاف العلامة المائية للماسح الضوئي للمستشفى بدلاً من المرض، ويفشل في المستشفيات الأخرى (يتفوق على ميزة زائفة).
رسم تخطيط لخسارة التدريب مقابل خسارة التحقق من الصحة أثناء التدريب والتوقف عندما تبدأ خسارة التحقق من الصحة في الارتفاع بينما تستمر خسارة التدريب في الانخفاض (الإمساك بالتجاوز مبكرًا).
المخاطر والدرابزين
قد تستخدم الفرق المختلفة نفس المصطلح بشكل مختلف، لذا حدد النطاق مبكرًا.
يمكن أن تبدو المعايير قوية بينما يكون الأداء في العالم الحقيقي غير متساوٍ.
غالبًا ما يؤدي تجاهل جودة البيانات وخطط التقييم إلى نتائج هشة.
خارطة طريق التنفيذ
ابدأ بتعريف لغة واضحة للنتيجة التي تحتاجها.
اختر مقياس نجاح واحد وحالة فشل واحدة قبل الاختبار.
قم بتشغيل برنامج تجريبي صغير يحتوي على بيانات تمثيلية، وليس مجموعة تجريبية مصقولة.
قم بالتوثيق حيثما يساعد التجهيز الزائد أو التجهيز غير المناسب، وأين تكون الطرق الأبسط أفضل.
استمر في الاستكشاف
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Overfitting and Underfitting quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
الدليل التالي
الانتشار العكسي
الأسئلة المتداولة
What is Overfitting and Underfitting?
التجهيز الزائد يحدث عندما يحفظ النموذج بيانات التدريب الخاصة به ويفشل في الأمثلة الجديدة؛ يحدث النقص في التجهيز عندما يكون من السهل جدًا التقاط النمط الحقيقي. إن الوصول إلى النقطة المثالية بينهما هو التحدي الرئيسي للتعلم الآلي.
يسجل النموذج 98% في بيانات التدريب الخاصة به ولكن 71% فقط في مجموعة الاختبار المعلقة. ما هي المشكلة الأكثر احتمالا؟
إن الفجوة الكبيرة التي تكون فيها دقة التدريب عالية ولكن دقة الاختبار أقل بكثير هي التوقيع الكلاسيكي للتركيب الزائد: النموذج يناسب الضوضاء في بيانات التدريب بدلاً من النمط العام.
ما هو السيناريو الأفضل الذي يصف النقص في التجهيز؟
يعد النموذج غير المناسب بسيطًا جدًا بحيث لا يمكنه التقاط النمط الأساسي، لذلك يكون أداؤه ضعيفًا في كل مكان، بما في ذلك البيانات التي تم تدريبه عليها.
في مقايضة التحيز والتباين، يرتبط التباين العالي أكثر بالنتيجة؟
التباين العالي يعني أن النموذج يتغير كثيرًا اعتمادًا على بيانات التدريب الدقيقة التي يراها، مما يؤدي إلى التجهيز الزائد. التحيز العالي هو العكس، النهاية المفرطة في التبسيط.
يستخدم نموذج القرض الافتراضي عمر مقدم الطلب فقط ويتجاهل الدخل والديون والتاريخ الائتماني. أداءه ضعيف في كل من التدريب والبيانات الجديدة. ماذا يجب عليك أن تفعل؟
يشير الأداء الضعيف في كل مكان إلى عدم الكفاءة. الحل هو زيادة سعة النموذج، غالبًا عن طريق إضافة ميزات إعلامية، حتى تتمكن من تمثيل العلاقة الحقيقية.
لماذا يعد التحقق من الصحة أو مجموعة الاختبار ضرورية لاكتشاف التجاوز؟
التجهيز الزائد غير مرئي إذا نظرت فقط إلى دقة التدريب. التقييم على البيانات غير المرئية يكشف الفجوة بين الحفظ والتعميم الحقيقي.