ٹیکنیکل گائیڈ
سیکھنے کی شرح کا شیڈولنگ
سیکھنے کی شرح کا شیڈول تربیت کے دوران قدموں کے سائز کو درست رکھنے کے بجائے تبدیل کرتا ہے۔
اس گائیڈ کو سنیں۔اے آئی نے بیان کیا۔ · ~2 min
اس صفحہ پر2 منٹ پڑھیں
جائزہ
اسے درست کرنا اکثر اس بات کا واحد سب سے بڑا لیور ہوتا ہے کہ آیا کوئی ماڈل تیزی سے بدل جاتا ہے اور اعلیٰ درستگی تک پہنچ جاتا ہے۔
گہرا غوطہ
سیکھنے کی شرح کنٹرول کرتی ہے کہ اصلاح کار ہر اپ ڈیٹ کو کتنا بڑا قدم اٹھاتا ہے۔ بہت زیادہ اور تربیت مختلف ہوتی ہے۔ بہت کم اور یہ رینگتا ہے یا پھنس جاتا ہے۔ شیڈولنگ اس قدر کو وقت کے ساتھ ایڈجسٹ کرتی ہے۔ ایک عام جدید نسخہ وارم اپ ہے جس کے بعد کشی ہوتی ہے: صفر کے قریب شروع کریں اور پہلے چند سو یا ہزار قدموں پر ریمپ کریں (اتنی جلدی، شور والے میلان غیر مستحکم وزن کو اڑا نہیں دیتے)، پھر آہستہ آہستہ کم ہوتے جاتے ہیں۔ مقبول کشی کی شکلوں میں مرحلہ تنزل (مقررہ دور میں ایک عنصر کے ذریعے گرنا)، ایکسپونینشل ڈے، اور کوزائن اینیلنگ شامل ہیں، جو آسانی سے آدھے کوزائن وکر کو صفر کے قریب نیچے لے جاتے ہیں۔ لکیری وارم اپ کے ساتھ کوزائن کے نظام الاوقات اب بڑے لینگویج ماڈلز کی تربیت کے لیے معیاری ہیں، جبکہ سائکلیکل اور ون سائیکل پالیسیاں چھوٹے ماڈل کی تربیت کو تیز کر سکتی ہیں۔
حقیقی دنیا کا نفاذ
ٹرانسفارمر لینگویج ماڈلز کی پری ٹریننگ کرتے وقت لکیری وارم اپ پلس کوزائن ڈیکی استعمال کیا جاتا ہے۔
امیج نیٹ پر امیج کی درجہ بندی کرنے والوں کو تربیت دیتے وقت مرحلہ 30، 60 اور 90 میں سیکھنے کی شرح کو 10 گنا کم کرتا ہے۔
fast.ai میں ایک سائیکل کی پالیسی بہت کم دوروں میں ایک ماڈل کو اچھی درستگی کی تربیت دینے کے لیے۔
کوزائن اینیلنگ گرم کے ساتھ دوبارہ شروع ہوتی ہے تاکہ تیز نقصان کم سے بچ سکے اور جنرلائزیشن کو بہتر بنایا جا سکے۔
سیکھنے کی شرح کی شیڈولنگ کا مستقبل
جیسے جیسے ٹریننگ کی دوڑیں زیادہ مہنگی ہوتی جاتی ہیں، نظام الاوقات کو آپٹیمائزرز اور بیچ کے سائز کے ساتھ مل کر ڈیزائن کیا جا رہا ہے، اور محققین تربیت سے پہلے بہترین چوٹی کی شرح کی پیشن گوئی کرنے کے لیے سکیلنگ قوانین کا مطالعہ کرتے ہیں۔ نظام الاوقات سے پاک اصلاح کار جو پہلے سے کشی وکر کو منتخب کرنے کی ضرورت کو دور کرتے ہیں وہ کرشن حاصل کر رہے ہیں، اور انکولی، فیڈ بیک پر مبنی نظام الاوقات جو لائیو نقصان کے منحنی خطوط کا جواب دیتے ہیں وہ آزمائش اور غلطی کو کم کر سکتے ہیں جو اب بھی بڑے پیمانے پر تربیت پر حاوی ہے۔
اسے عملی جامہ پہنانا
یہ کیوں اہمیت رکھتا ہے۔
- لاگت اور بجٹ. فن تعمیر کے فیصلے سالوں تک کارکردگی اور آپریٹنگ لاگت کو آگے بڑھاتے ہیں۔
- واضح فیصلے. تکنیکی تعلیم ٹیموں کو صحیح اسٹیک منتخب کرنے میں مدد کرتی ہے، نہ صرف جدید ترین۔
- کوالٹی کنٹرول. انجینئرنگ کے بہتر انتخاب پیداوار میں قابل اعتماد واقعات کو کم کرتے ہیں۔
پر نگاہ رکھیں
- ایک بینچ مارک کو بہتر بنانا نظام کی وسیع تر کمزوریوں کو چھپا سکتا ہے۔
- بنیادی ڈھانچے اور دیکھ بھال کے اخراجات کو اکثر کم سمجھا جاتا ہے۔
- سیکورٹی اور مشاہداتی فرق بڑھ سکتا ہے کیونکہ نظام زیادہ پیچیدہ ہو جاتا ہے۔
اگلے اقدامات
- نفاذ سے پہلے تاخیر، معیار اور لاگت کے اہداف کی وضاحت کریں۔
- حقیقت پسندانہ بوجھ اور ڈیٹا کی شرائط کے تحت بینچ مارک۔
- غلطیوں، بڑھے ہوئے، اور صارف کے اثرات کے لیے آلے کی نگرانی۔
- اسکیلنگ سے پہلے رول بیک اور واقعہ کے ردعمل کے راستے تیار کریں۔
دریافت کرتے رہیں
مفت نیوز لیٹر
روزانہ AI بریفنگ حاصل کریں
ہر ہفتے کے دن صبح تین تصدیق شدہ AI کہانیاں، سادہ انگریزی میں لکھی گئیں۔ ہمیشہ کے لیے مفت، کوئی اشتہار نہیں۔
ہر ہفتے کے دن ایک ای میل۔ ایک کلک میں ان سبسکرائب کریں۔ ہم کبھی بھی آپ کا پتہ فروخت یا شیئر نہیں کرتے۔
اپنے آپ کو جانچیں۔
Take the Learning Rate Scheduling quiz
ہر جواب پر فوری فیڈبیک، اور کورس پاس کرنے کے بعد قابلِ تصدیق ID کے ساتھ شیئر کرنے کے قابل سرٹیفکیٹ۔
مفت AI تعلیم کی حمایت کریں۔ AI Understanding ایک 501(c)(3) غیر منافع بخش ادارہ ہے — کوئی اشتہار نہیں، کوئی پے وال نہیں، کبھی نہیں۔ عطیہ کریں۔
اکثر پوچھے گئے سوالات
سیکھنے کی شرح کا شیڈولنگ کیا ہے؟
سیکھنے کی شرح کا شیڈول تربیت کے دوران قدموں کے سائز کو درست رکھنے کے بجائے تبدیل کرتا ہے۔ اسے درست کرنا اکثر اس بات کا واحد سب سے بڑا لیور ہوتا ہے کہ آیا کوئی ماڈل تیزی سے بدل جاتا ہے اور اعلیٰ درستگی تک پہنچ جاتا ہے۔
سیکھنے کی شرح کے شیڈول میں 'وارم اپ' مرحلے کا مقصد کیا ہے؟
وارم اپ صفر کے قریب شروع ہوتا ہے اور شرح کو بڑھاتا ہے تاکہ غیر مستحکم ابتدائی اپ ڈیٹس آپٹیمائزر کے اعداد و شمار کے حل سے پہلے ماڈل کو غیر مستحکم نہ کریں۔
کون سا شیڈول آسانی سے کم از کم شرح کی طرف آدھے کوزائن وکر کی پیروی کرتا ہے؟
کوزائن اینیلنگ سیکھنے کی شرح کو نصف کوزائن شکل کے ساتھ ختم کر دیتی ہے، جس سے بڑے قدم ابتدائی اور چھوٹے قدم اختتام کے قریب ہوتے ہیں۔
اگر سیکھنے کی شرح بہت زیادہ مقرر کی جائے تو کیا ہوگا؟
بہت زیادہ شرح اوور شوٹنگ کا سبب بنتی ہے، لہذا نقصان طے کرنے کے بجائے اچھل سکتا ہے یا اڑا سکتا ہے۔
مرحلہ وار زوال سیکھنے کی شرح کو کیا کرتا ہے؟
مرحلہ زوال ایک فیکٹر (مثلاً، 0.1) سے منتخب کردہ سنگ میل پر شرح کو ضرب دیتا ہے، جس سے سیڑھیوں کا نمونہ بنتا ہے۔
What does a warm restart do to a learning-rate schedule?
Warm restarts begin another learning-rate cycle at a higher value; they do not guarantee escape from a particular loss-landscape feature.
سیکھتے رہیں
متعلقہ گائیڈز
اس موضوع کے لیے مزید گائیڈز چنے گئے ہیں۔