سیکھنے کی شرح کا شیڈولنگ
سیکھنے کی شرح کا شیڈول تربیت کے دوران قدموں کے سائز کو درست رکھنے کے بجائے تبدیل کرتا ہے۔
جائزہ
Getting it right is often the single biggest lever for whether a model converges quickly and reaches high accuracy.
گہرا غوطہ
سیکھنے کی شرح کنٹرول کرتی ہے کہ اصلاح کار ہر اپ ڈیٹ کو کتنا بڑا قدم اٹھاتا ہے۔ بہت زیادہ اور تربیت مختلف ہوتی ہے۔ بہت کم اور یہ رینگتا ہے یا پھنس جاتا ہے۔ شیڈولنگ اس قدر کو وقت کے ساتھ ایڈجسٹ کرتی ہے۔ ایک عام جدید نسخہ وارم اپ ہے جس کے بعد کشی ہوتی ہے: صفر کے قریب شروع کریں اور پہلے چند سو یا ہزار قدموں پر ریمپ کریں (اتنی جلدی، شور والے میلان غیر مستحکم وزن کو اڑا نہیں دیتے)، پھر آہستہ آہستہ کم ہوتے جاتے ہیں۔ مقبول کشی کی شکلوں میں مرحلہ تنزل (مقررہ دور میں ایک عنصر کے ذریعے گرنا)، ایکسپونینشل ڈے، اور کوزائن اینیلنگ شامل ہیں، جو آسانی سے آدھے کوزائن وکر کو صفر کے قریب نیچے لے جاتے ہیں۔ لکیری وارم اپ کے ساتھ کوزائن کے نظام الاوقات اب بڑے لینگویج ماڈلز کی تربیت کے لیے معیاری ہیں، جبکہ سائکلیکل اور ون سائیکل پالیسیاں چھوٹے ماڈل کی تربیت کو تیز کر سکتی ہیں۔
تکنیکی بصیرت
وارم اپ اہم ہے کیونکہ ایڈم جیسے انکولی اصلاح کرنے والوں کے پاس پہلے مرحلے میں دوسرے لمحے کے ناقابل اعتبار تخمینے ہوتے ہیں۔ سیکھنے کی ایک چھوٹی شرح ان اعدادوشمار کے طے ہونے سے پہلے وزن کو غیر مستحکم کرنے سے گریز کرتی ہے۔ کوزائن اینیلنگ سیٹ کرتا ہے lr = lr_min + 0.5 * (lr_max - lr_min) * (1 + cos(pi * t / T))، تیز رفتار پیش رفت ابتدائی اور چھوٹے، اختتام کے قریب ٹھیک ٹیوننگ کے مراحل دیتا ہے۔ کچھ نظام الاوقات گرم دوبارہ شروع کرنے کا اضافہ کرتے ہیں، تیز منیما سے بچنے کے لیے شرح کو واپس اوپر لے جاتے ہیں۔
اسٹریٹجک اثر
لاگت اور بجٹ
فن تعمیر کے فیصلے سالوں تک کارکردگی اور آپریٹنگ لاگت کو آگے بڑھاتے ہیں۔
واضح فیصلے
تکنیکی تعلیم ٹیموں کو صحیح اسٹیک منتخب کرنے میں مدد کرتی ہے، نہ صرف جدید ترین۔
کوالٹی کنٹرول
انجینئرنگ کے بہتر انتخاب پیداوار میں قابل اعتماد واقعات کو کم کرتے ہیں۔
سیکھنے کی شرح کی شیڈولنگ کا مستقبل
جیسے جیسے ٹریننگ کی دوڑیں زیادہ مہنگی ہوتی جاتی ہیں، نظام الاوقات کو آپٹیمائزرز اور بیچ کے سائز کے ساتھ مل کر ڈیزائن کیا جا رہا ہے، اور محققین تربیت سے پہلے بہترین چوٹی کی شرح کی پیشن گوئی کرنے کے لیے سکیلنگ قوانین کا مطالعہ کرتے ہیں۔ نظام الاوقات سے پاک اصلاح کار جو پہلے سے کشی وکر کو منتخب کرنے کی ضرورت کو دور کرتے ہیں وہ کرشن حاصل کر رہے ہیں، اور انکولی، فیڈ بیک پر مبنی نظام الاوقات جو لائیو نقصان کے منحنی خطوط کا جواب دیتے ہیں وہ آزمائش اور غلطی کو کم کر سکتے ہیں جو اب بھی بڑے پیمانے پر تربیت پر حاوی ہے۔
حقیقی دنیا کا نفاذ
ٹرانسفارمر لینگویج ماڈلز کی پری ٹریننگ کرتے وقت لکیری وارم اپ پلس کوزائن ڈیکی استعمال کیا جاتا ہے۔
امیج نیٹ پر امیج کی درجہ بندی کرنے والوں کو تربیت دیتے وقت مرحلہ 30، 60 اور 90 میں سیکھنے کی شرح کو 10 گنا کم کرتا ہے۔
fast.ai میں ایک سائیکل کی پالیسی بہت کم دوروں میں ایک ماڈل کو اچھی درستگی کی تربیت دینے کے لیے۔
کوزائن اینیلنگ گرم کے ساتھ دوبارہ شروع ہوتی ہے تاکہ تیز نقصان کم سے بچ سکے اور جنرلائزیشن کو بہتر بنایا جا سکے۔
خطرات اور گارڈریلز
ایک بینچ مارک کو بہتر بنانا نظام کی وسیع تر کمزوریوں کو چھپا سکتا ہے۔
بنیادی ڈھانچے اور دیکھ بھال کے اخراجات کو اکثر کم سمجھا جاتا ہے۔
سیکورٹی اور مشاہداتی فرق بڑھ سکتا ہے کیونکہ نظام زیادہ پیچیدہ ہو جاتا ہے۔
نفاذ کا روڈ میپ
نفاذ سے پہلے تاخیر، معیار اور لاگت کے اہداف کی وضاحت کریں۔
حقیقت پسندانہ بوجھ اور ڈیٹا کی شرائط کے تحت بینچ مارک۔
غلطیوں، بڑھے ہوئے، اور صارف کے اثرات کے لیے آلے کی نگرانی۔
اسکیلنگ سے پہلے رول بیک اور واقعہ کے ردعمل کے راستے تیار کریں۔
دریافت کرتے رہیں
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Learning Rate Scheduling quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
اگلا گائیڈ
سائیکلیکل سیکھنے کی شرح
اکثر پوچھے گئے سوالات
What is Learning Rate Scheduling?
سیکھنے کی شرح کا شیڈول تربیت کے دوران قدموں کے سائز کو درست رکھنے کے بجائے تبدیل کرتا ہے۔ اسے درست کرنا اکثر اس بات کا واحد سب سے بڑا لیور ہوتا ہے کہ آیا کوئی ماڈل تیزی سے بدل جاتا ہے اور اعلیٰ درستگی تک پہنچ جاتا ہے۔
سیکھنے کی شرح کے شیڈول میں 'وارم اپ' مرحلے کا مقصد کیا ہے؟
وارم اپ صفر کے قریب شروع ہوتا ہے اور شرح کو بڑھاتا ہے تاکہ غیر مستحکم ابتدائی اپ ڈیٹس آپٹیمائزر کے اعداد و شمار کے حل سے پہلے ماڈل کو غیر مستحکم نہ کریں۔
کون سا شیڈول آسانی سے کم از کم شرح کی طرف آدھے کوزائن وکر کی پیروی کرتا ہے؟
کوزائن اینیلنگ سیکھنے کی شرح کو نصف کوزائن شکل کے ساتھ ختم کر دیتی ہے، جس سے بڑے قدم ابتدائی اور چھوٹے قدم اختتام کے قریب ہوتے ہیں۔
اگر سیکھنے کی شرح بہت زیادہ مقرر کی جائے تو کیا ہوگا؟
بہت زیادہ شرح اوور شوٹنگ کا سبب بنتی ہے، لہذا نقصان طے کرنے کے بجائے اچھل سکتا ہے یا اڑا سکتا ہے۔
مرحلہ وار زوال سیکھنے کی شرح کو کیا کرتا ہے؟
مرحلہ زوال ایک فیکٹر (مثلاً، 0.1) سے منتخب کردہ سنگ میل پر شرح کو ضرب دیتا ہے، جس سے سیڑھیوں کا نمونہ بنتا ہے۔
کبھی کبھار 'گرم ری اسٹارٹس' کو شیڈول میں کیوں شامل کیا جاتا ہے؟
گرم دوبارہ شروع ہونے سے سیکھنے کی شرح کو وقفے وقفے سے بیک اپ کرنے میں مدد ملتی ہے، جس سے آپٹیمائزر کو تنگ منیما سے باہر نکلنے اور بہتر حل تلاش کرنے میں مدد ملتی ہے۔