اوور فٹنگ اور انڈر فٹنگ
اوور فٹنگ اس وقت ہوتی ہے جب ایک ماڈل اپنے تربیتی ڈیٹا کو حفظ کر لیتا ہے اور نئی مثالوں پر ناکام ہو جاتا ہے۔ انڈر فٹنگ اس وقت ہوتی ہے جب اصلی پیٹرن کو حاصل کرنا بہت آسان ہوتا ہے۔
جائزہ
Hitting the sweet spot between them is the central challenge of machine learning.
گہرا غوطہ
ہر ماڈل ایک محدود تربیتی سیٹ کے لیے موزوں ہے، لیکن مقصد یہ ہے کہ نادیدہ ڈیٹا پر اچھی کارکردگی کا مظاہرہ کیا جائے۔ ایک اوور فٹ ماڈل ٹریننگ سیٹ کے شور اور نرالا سلوک کو اس طرح سمجھتا ہے جیسے وہ حقیقی سگنل ہوں: یہ ٹریننگ ڈیٹا پر 99% سکور کر سکتا ہے لیکن ٹیسٹ سیٹ پر 70% تک گر سکتا ہے۔ ایک انڈر فٹ ماڈل اس کے برعکس مسئلہ ہے، جو بنیادی ڈھانچے کو حاصل کرنے کے لیے بہت سخت ہے، اس لیے یہ تربیت اور ٹیسٹ کے اعداد و شمار دونوں پر برا کام کرتا ہے۔ تربیت اور ٹیسٹ کی کارکردگی کے درمیان فرق بتانے والی علامت ہے۔ انڈر فٹنگ ہر جگہ اعلی غلطی کے طور پر ظاہر کرتی ہے (اعلی تعصب)؛ اوور فٹنگ کم تربیتی غلطی لیکن اعلیٰ امتحانی غلطی (زیادہ تغیر) کے طور پر ظاہر کرتی ہے۔ مہارت یہ پہچان رہی ہے کہ آپ کو کون سا مسئلہ درپیش ہے، کیونکہ اصلاحات مخالف سمتوں کو کھینچتی ہیں۔
تکنیکی بصیرت
اوور فٹنگ اور انڈر فٹنگ تعصب-تغیر تجارت کے دو سرے ہیں۔ تعصب حد سے زیادہ آسان مفروضوں سے غلطی ہے۔ تغیر مخصوص تربیتی نمونے کے لیے بہت زیادہ حساس ہونے کی وجہ سے غلطی ہے۔ ایک چھوٹے لکیری ماڈل میں زیادہ تعصب اور کم تغیر ہوتا ہے (انڈر فٹ)؛ ایک بہت بڑا غیر محدود ماڈل میں کم تعصب اور زیادہ تغیر (اوور فٹ) ہوتا ہے۔ کل متوقع غلطی تقریباً bias-squared plus variance plus irredible noise کے طور پر گل جاتی ہے۔ پریکٹیشنرز ٹریننگ سیٹ کی درستگی کا ایک ہولڈ آؤٹ توثیق سیٹ کے ساتھ موازنہ کر کے مسئلہ کا پتہ لگاتے ہیں، یہ دیکھتے ہوئے کہ دونوں منحنی خطوط کہاں سے الگ ہوتے ہیں۔
اسٹریٹجک اثر
واضح فیصلے
یہ آپ کو مارکیٹنگ کی زبان سے واضح تکنیکی دعووں کو الگ کرنے میں مدد کرتا ہے۔
لاگت اور بجٹ
آپ پیسہ یا وقت خرچ کرنے سے پہلے بہتر نفاذ کے سوالات پوچھ سکتے ہیں۔
Team and workflow
مشترکہ تفہیم کے ساتھ ٹیمیں بہتر پروڈکٹ، پالیسی اور سیکھنے کے فیصلے کرتی ہیں۔
اوور فٹنگ اور انڈر فٹنگ کا مستقبل
یہ تصورات بنیادی ہیں، لیکن بہت بڑے عصبی نیٹ ورکس نے کلاسک تصویر کو پیچیدہ بنا دیا ہے۔ جدید ماڈلز میں ڈیٹا پوائنٹس سے کہیں زیادہ پیرامیٹرز ہو سکتے ہیں لیکن پھر بھی اچھی طرح سے عام کیا جاتا ہے، ایک حیرت انگیز نظام جسے کبھی کبھی 'ڈبل ڈیسنٹ' کہا جاتا ہے جہاں اوور فٹنگ چوٹی کے بعد ٹیسٹ کی غلطی دوبارہ گر جاتی ہے۔ تحقیق تیزی سے اس بات پر توجہ مرکوز کرتی ہے کہ اوور پیرامیٹرائزڈ ماڈلز کو عام کیوں کیا جاتا ہے، اصلاح کاروں میں مضمر ریگولرائزیشن کا کردار، اور ڈسٹری بیوشن شفٹ کا بہتر خودکار پتہ لگانا۔ بہتر تشخیص کی توقع کریں جو پیداوار میں اوور فٹنگ کا جھنڈا لگائیں کیونکہ حقیقی دنیا کا ڈیٹا تربیتی ڈیٹا سے دور ہو جاتا ہے۔
حقیقی دنیا کا نفاذ
ایک اسپام فلٹر جو ہر ای میل کو جھنڈا لگاتا ہے جس میں ایک مخصوص مرسل کا نام ہوتا ہے کیونکہ اس بھیجنے والے نے تربیتی ڈیٹا میں بہت زیادہ اسپام کیا تھا، جس میں نئے اسپامرز مکمل طور پر غائب ہوتے ہیں (اوور فٹنگ)۔
مکان کی قیمت کا ماڈل صرف مربع فوٹیج استعمال کرتا ہے اور مقام، بیڈ رومز اور حالت کو نظر انداز کرتا ہے، اس لیے یہ مہنگے پڑوس (انڈر فٹنگ) میں بری طرح یاد رہتا ہے۔
ایک طبی تصویر کا درجہ بندی کرنے والا جو بیماری کے بجائے ہسپتال کے سکینر واٹر مارک کا پتہ لگانا سیکھتا ہے، اور دوسرے ہسپتالوں میں ناکام ہو جاتا ہے (ایک جعلی خصوصیت سے زیادہ فٹ ہونا)۔
پلاٹنگ ٹریننگ نقصان بمقابلہ ٹریننگ کے دوران توثیق کا نقصان اور روکنا جب توثیق کا نقصان بڑھنا شروع ہو جائے جبکہ ٹریننگ کا نقصان مسلسل گرتا رہے (اوور فٹنگ کو جلد پکڑنا)۔
خطرات اور گارڈریلز
مختلف ٹیمیں ایک ہی اصطلاح کو مختلف طریقے سے استعمال کر سکتی ہیں، اس لیے دائرہ کار کی جلد وضاحت کریں۔
بینچ مارکس مضبوط نظر آسکتے ہیں جبکہ حقیقی دنیا کی کارکردگی ناہموار ہے۔
ڈیٹا کے معیار اور تشخیص کے منصوبوں کو نظر انداز کرنا اکثر نازک نتائج پیدا کرتا ہے۔
نفاذ کا روڈ میپ
آپ کو مطلوبہ نتائج کی سادہ زبان کی تعریف کے ساتھ شروع کریں۔
جانچ کرنے سے پہلے ایک کامیابی میٹرک اور ایک ناکامی کی شرط منتخب کریں۔
نمائندہ ڈیٹا کے ساتھ ایک چھوٹا پائلٹ چلائیں، نہ کہ پالش شدہ ڈیمو سیٹ۔
دستاویز جہاں اوور فٹنگ اور انڈر فٹنگ میں مدد ملتی ہے اور جہاں آسان طریقے بہتر ہیں۔
دریافت کرتے رہیں
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Overfitting and Underfitting quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
اگلا گائیڈ
بیک پروپیگیشن
اکثر پوچھے گئے سوالات
What is Overfitting and Underfitting?
اوور فٹنگ اس وقت ہوتی ہے جب ایک ماڈل اپنے تربیتی ڈیٹا کو حفظ کر لیتا ہے اور نئی مثالوں پر ناکام ہو جاتا ہے۔ انڈر فٹنگ اس وقت ہوتی ہے جب اصلی پیٹرن کو حاصل کرنا بہت آسان ہوتا ہے۔ ان کے درمیان پیاری جگہ کو مارنا مشین لرننگ کا مرکزی چیلنج ہے۔
ایک ماڈل اپنے تربیتی ڈیٹا پر 98% اسکور کرتا ہے لیکن منعقد کیے گئے ٹیسٹ سیٹ پر صرف 71%۔ سب سے زیادہ ممکنہ مسئلہ کیا ہے؟
ایک بڑا خلا جہاں تربیت کی درستگی زیادہ ہے لیکن ٹیسٹ کی درستگی بہت کم ہے اوور فٹنگ کا کلاسک دستخط ہے: ماڈل عام پیٹرن کے بجائے ٹریننگ ڈیٹا میں شور کو فٹ کرتا ہے۔
کون سا منظر نامہ انڈر فٹنگ کی بہترین وضاحت کرتا ہے؟
ایک انڈر فٹ ماڈل بنیادی پیٹرن کو حاصل کرنے کے لیے بہت آسان ہے، لہذا یہ ہر جگہ خراب کارکردگی کا مظاہرہ کرتا ہے، بشمول اس ڈیٹا پر جس پر اسے تربیت دی گئی تھی۔
تعصب-متغیر تجارت میں، اعلی تغیر کس نتیجہ سے زیادہ وابستہ ہے؟
ہائی ویریئنس کا مطلب ہے کہ ماڈل میں بہت زیادہ تبدیلیاں آتی ہیں اس پر منحصر ہے کہ وہ جو بالکل تربیتی ڈیٹا دیکھتا ہے، جس کی وجہ سے اوور فٹنگ ہوتی ہے۔ اعلی تعصب اس کے برعکس، حد سے زیادہ آسان انجام ہے۔
قرض کا ڈیفالٹ ماڈل صرف درخواست دہندہ کی عمر کا استعمال کرتا ہے اور آمدنی، قرض اور کریڈٹ ہسٹری کو نظر انداز کرتا ہے۔ یہ تربیت اور نئے ڈیٹا دونوں پر خراب کارکردگی کا مظاہرہ کرتا ہے۔ آپ کو کیا کرنا چاہیے؟
ہر جگہ خراب کارکردگی انڈر فٹنگ کا اشارہ دیتی ہے۔ حل یہ ہے کہ ماڈل کی صلاحیت کو بڑھایا جائے، اکثر معلوماتی خصوصیات شامل کرکے، تاکہ یہ حقیقی تعلق کی نمائندگی کر سکے۔
اوور فٹنگ کا پتہ لگانے کے لیے ہولڈ آؤٹ توثیق یا ٹیسٹ سیٹ کیوں ضروری ہے؟
اگر آپ صرف تربیت کی درستگی کو دیکھتے ہیں تو اوور فٹنگ پوشیدہ ہے۔ غیر دیکھے ڈیٹا پر جائزہ لینے سے یادداشت اور حقیقی عامیت کے درمیان فرق سامنے آتا ہے۔