প্রযুক্তিগত গাইড
শেখার হার নির্ধারণ
একটি শেখার হারের সময়সূচী এটিকে স্থির রাখার পরিবর্তে প্রশিক্ষণের সময় ধাপের আকার পরিবর্তন করে।
এই নির্দেশিকা শুনুনএআই-বর্ণিত · ~2 min
এই পৃষ্ঠায়2 মিনিট পঠিত
ওভারভিউ
একটি মডেল দ্রুত রূপান্তরিত হয় এবং উচ্চ নির্ভুলতায় পৌঁছায় কিনা তার জন্য এটিকে ঠিক করা প্রায়শই একক বৃহত্তম লিভার।
গভীর ডুব
শেখার হার নিয়ন্ত্রণ করে কত বড় পদক্ষেপ অপ্টিমাইজার প্রতিটি আপডেট নেয়। খুব উচ্চ এবং প্রশিক্ষণ diverges; খুব কম এবং এটি ক্রল বা আটকে যায়। সময়সূচী সময়ের সাথে এই মানকে সামঞ্জস্য করে। একটি সাধারণ আধুনিক রেসিপি হল ওয়ার্মআপ যার পরে ক্ষয় হয়: শূন্যের কাছাকাছি শুরু করুন এবং প্রথম কয়েকশ বা হাজার ধাপে র্যাম্প করুন (এত তাড়াতাড়ি, কোলাহলপূর্ণ গ্রেডিয়েন্টগুলি অস্থির ওজনকে উড়িয়ে দেয় না), তারপর ধীরে ধীরে হ্রাস পায়। জনপ্রিয় ক্ষয় আকারের মধ্যে রয়েছে ধাপ ক্ষয় (নির্ধারিত যুগে একটি ফ্যাক্টর দ্বারা ড্রপ), সূচকীয় ক্ষয় এবং কোসাইন অ্যানিলিং, যা মসৃণভাবে শূন্যের কাছাকাছি অর্ধ-কোসাইন বক্ররেখা অনুসরণ করে। রৈখিক ওয়ার্মআপ সহ কোসাইন সময়সূচীগুলি এখন বড় ভাষা মডেলের প্রশিক্ষণের জন্য আদর্শ, যখন চক্রীয় এবং এক-চক্র নীতিগুলি ছোট-মডেল প্রশিক্ষণের গতি বাড়িয়ে তুলতে পারে।
বাস্তব-বিশ্ব বাস্তবায়ন
রৈখিক ওয়ার্মআপ প্লাস কোসাইন ক্ষয় ব্যবহৃত হয় যখন ট্রান্সফরমার ভাষা মডেলের প্রি-ট্রেনিং করা হয়।
ধাপের ক্ষয় যা ইমেজনেটে ইমেজ ক্লাসিফায়ারদের প্রশিক্ষণ দেওয়ার সময় 30, 60 এবং 90 যুগে শেখার হার 10 গুণ কমে যায়।
খুব কম যুগে একটি মডেলকে ভালো নির্ভুলতার জন্য প্রশিক্ষণ দেওয়ার জন্য fast.ai-তে এক-চক্র নীতি।
কোসাইন অ্যানিলিং গরমের সাথে পুনঃসূচনা করে পর্যায়ক্রমে তীক্ষ্ণ ক্ষয়ক্ষতি এড়াতে এবং সাধারণীকরণ উন্নত করে।
শেখার হার নির্ধারণের ভবিষ্যত
প্রশিক্ষণের দৌড় আরও ব্যয়বহুল হওয়ার সাথে সাথে, সময়সূচীগুলি অপ্টিমাইজার এবং ব্যাচের আকারগুলির সাথে সহ-ডিজাইন করা হচ্ছে এবং গবেষকরা প্রশিক্ষণের আগে সেরা সর্বোচ্চ হারের পূর্বাভাস দেওয়ার জন্য স্কেলিং আইন অধ্যয়ন করে৷ সময়সূচী-মুক্ত অপ্টিমাইজারগুলি যেগুলি আগে থেকে একটি ক্ষয় বক্ররেখা বাছাই করার প্রয়োজনীয়তা দূর করে তারা ট্র্যাকশন অর্জন করছে, এবং অভিযোজিত, প্রতিক্রিয়া-চালিত সময়সূচী যা লাইভ ক্ষতির বক্ররেখায় সাড়া দেয় তা ট্রায়াল-এন্ড-এরর কমিয়ে দিতে পারে যা এখনও বড়-স্কেল প্রশিক্ষণে প্রাধান্য পায়।
এটাকে বাস্তবে প্রয়োগ করা হচ্ছে
কেন এটা গুরুত্বপূর্ণ
- খরচ ও বাজেট. আর্কিটেকচারের সিদ্ধান্তগুলি বছরের পর বছর ধরে কর্মক্ষমতা এবং অপারেটিং খরচ চালায়।
- সুস্পষ্ট সিদ্ধান্ত. কারিগরি শিক্ষা দলগুলোকে সঠিক স্ট্যাক বেছে নিতে সাহায্য করে, শুধু নতুনটি নয়।
- মান নিয়ন্ত্রণ. ভালো ইঞ্জিনিয়ারিং পছন্দ উৎপাদনে নির্ভরযোগ্যতার ঘটনা কমিয়ে দেয়।
জন্য সতর্ক
- একটি বেঞ্চমার্ক অপ্টিমাইজ করা বৃহত্তর সিস্টেম দুর্বলতা আড়াল করতে পারে।
- অবকাঠামো এবং রক্ষণাবেক্ষণের খরচ প্রায়ই অবমূল্যায়ন করা হয়।
- সিস্টেমগুলি আরও জটিল হওয়ার সাথে সাথে সুরক্ষা এবং পর্যবেক্ষণযোগ্যতার ফাঁক বাড়তে পারে।
পরবর্তী পদক্ষেপ
- বাস্তবায়নের আগে বিলম্ব, গুণমান এবং খরচের লক্ষ্য নির্ধারণ করুন।
- বাস্তবসম্মত লোড এবং ডেটা অবস্থার অধীনে বেঞ্চমার্ক।
- ত্রুটি, প্রবাহ, এবং ব্যবহারকারীর প্রভাবের জন্য যন্ত্র পর্যবেক্ষণ।
- স্কেল করার আগে রোলব্যাক এবং ঘটনার প্রতিক্রিয়া পাথ প্রস্তুত করুন।
অন্বেষণ চালিয়ে যান
ফ্রি নিউজলেটার
প্রতিদিনের এআই ব্রিফিং পান
প্রতি সপ্তাহের কাজের দিন সকালে তিনটি যাচাইকৃত এআই স্টোরি, সহজ ইংরেজিতে লেখা। চিরকালের জন্য ফ্রি, কোনো বিজ্ঞাপন নেই।
প্রতি সপ্তাহের কাজের দিনে একটি ইমেল। এক ক্লিকেই আনসাবস্ক্রাইব করুন। আমরা কখনোই আপনার ঠিকানা বিক্রি বা শেয়ার করি না।
নিজেকে পরীক্ষা করুন
Take the Learning Rate Scheduling quiz
প্রতিটি উত্তরের তাৎক্ষণিক ফিডব্যাক, এবং কোর্স পাস করার পর যাচাইযোগ্য আইডি সহ একটি শেয়ারযোগ্য সার্টিফিকেট।
ফ্রি এআই শিক্ষাকে সমর্থন করুন। AI Understanding একটি 501(c)(3) অলাভজনক প্রতিষ্ঠান — কোনো বিজ্ঞাপন নেই, কোনো পেওয়াল নেই, কখনোই না। একটি দান করুন
প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী
শেখার হার নির্ধারণ কি?
একটি শেখার হারের সময়সূচী এটিকে স্থির রাখার পরিবর্তে প্রশিক্ষণের সময় ধাপের আকার পরিবর্তন করে। একটি মডেল দ্রুত রূপান্তরিত হয় এবং উচ্চ নির্ভুলতায় পৌঁছায় কিনা তার জন্য এটিকে ঠিক করা প্রায়শই একক বৃহত্তম লিভার।
শেখার হারের সময়সূচীতে 'ওয়ার্মআপ' পর্বের উদ্দেশ্য কী?
ওয়ার্মআপ শূন্যের কাছাকাছি শুরু হয় এবং হার বৃদ্ধি করে যাতে অস্থির প্রাথমিক আপডেটগুলি অপ্টিমাইজার পরিসংখ্যান স্থির হওয়ার আগে মডেলটিকে অস্থিতিশীল না করে।
কোন সময়সূচী মসৃণভাবে একটি ন্যূনতম হারের দিকে অর্ধ-কোসাইন বক্ররেখা অনুসরণ করে?
কোসাইন অ্যানিলিং একটি অর্ধ-কোসাইন আকৃতি বরাবর শেখার হারকে ক্ষয় করে, বড় ধাপগুলিকে প্রথম দিকে এবং শেষের কাছাকাছি ছোট পদক্ষেপ দেয়।
শেখার হার অনেক বেশি সেট করা হলে কি হবে?
একটি অত্যধিক উচ্চ হার ওভারশুটিং ঘটায়, তাই ক্ষতি স্থির হওয়ার পরিবর্তে চারপাশে বাউন্স হতে পারে বা উড়িয়ে দিতে পারে।
ধাপের ক্ষয় শেখার হারে কী করে?
ধাপের ক্ষয় বাছাই করা মাইলফলকগুলিতে একটি ফ্যাক্টর (যেমন, 0.1) দ্বারা হারকে গুণ করে, একটি সিঁড়ি প্যাটার্ন তৈরি করে।
What does a warm restart do to a learning-rate schedule?
Warm restarts begin another learning-rate cycle at a higher value; they do not guarantee escape from a particular loss-landscape feature.
শিখতে থাকুন
সম্পর্কিত গাইড
এই বিষয়ের জন্য বাছাই করা আরও গাইড