পরবর্তী আপপরবর্তী গাইড
কীভাবে এআই শিডিউল দিয়ে জেট ল্যাগকে হারানো যায়
অ্যাপ্লিকেশন
প্রযুক্তিগত গাইড
ওয়ার্মআপ প্রশিক্ষণের আগে শেখার হারকে শূন্যের কাছাকাছি থেকে উপরে নিয়ে আসে, তারপর কোসাইন অ্যানিলিং একটি কোসাইন বক্ররেখা অনুসরণ করে এটিকে মসৃণভাবে ক্ষয় করে।
এই নির্দেশিকা শুনুনএআই-বর্ণিত · ~2 min
একসাথে তারা প্রাথমিক প্রশিক্ষণকে স্থিতিশীল করে এবং আরও ভাল চূড়ান্ত নির্ভুলতা বের করে দেয়, যে কারণে প্রায় প্রতিটি আধুনিক ট্রান্সফরমারকে এইভাবে প্রশিক্ষিত করা হয়।
যখন প্রশিক্ষণ শুরু হয়, মডেলের ওজন এলোমেলো হয় এবং গ্রেডিয়েন্টগুলি বিশাল হতে পারে, তাই একটি বৃহৎ শেখার হারে সরাসরি ঝাঁপ দেওয়া প্রায়ই ক্ষতির স্পাইক বা বিচ্যুতি ঘটায় — বিশেষ করে অ্যাডামের মতো অভিযোজিত অপ্টিমাইজারদের সাথে, যার বৈচিত্র্য অনুমান প্রথম ধাপে অবিশ্বস্ত হয়। ওয়ার্মআপ রৈখিকভাবে কয়েকশ থেকে কয়েক হাজার ধাপে হার বাড়িয়ে এটি ঠিক করে। একবার মডেলটি স্থিতিশীল অবস্থানে চলে গেলে, কোসাইন অ্যানিলিং এর দায়িত্ব নেয়, ক্ষয় হয় 0.5 * (1 + cos(pi * t/T)) হিসাবে। কোসাইন আকৃতি দ্রুত অগ্রগতির জন্য দ্রুত হারকে উচ্চ রাখে, তারপর ধীরে ধীরে বন্ধ হয়ে যায় যাতে অপ্টিমাইজারটি তার চারপাশে বাউন্স করার পরিবর্তে একটি ভাল সর্বনিম্ন স্থির করতে পারে।
GPT-শৈলী এবং BERT-শৈলী ভাষার মডেলগুলি প্রথম ~1-2% ধাপে একটি রৈখিক ওয়ার্মআপ ব্যবহার করে যার পরে কোসাইন ক্ষয় শূন্যের কাছাকাছি হয়।
ইমেজনেটে প্রাথমিক বিচ্যুতি এড়াতে ভিশন ট্রান্সফরমার (ভিআইটি) কোসাইন অ্যানিলিং এবং একটি ছোট ওয়ার্মআপ সহ ট্রেন।
আলিঙ্গন ফেস ট্রান্সফরমারগুলি ফাইন-টিউনিং কাজের জন্য এক-লাইন শিডিউলার হিসাবে `get_cosine_schedule_with_warmup' অফার করে।
স্থিতিশীল ডিফিউশন এবং অন্যান্য ডিফিউশন মডেলগুলি পূর্ব-প্রশিক্ষিত ওজনগুলিকে অভিযোজিত করার সময় গ্রেডিয়েন্ট বিস্ফোরণ প্রতিরোধ করার জন্য ওয়ার্মআপের সাথে সূক্ষ্ম-টিউন করে।
ওয়ার্মআপ-প্লাস-কোসাইন বড় ভাষার মডেলের জন্য ডিফল্ট রেসিপি রয়ে গেছে, কিন্তু রূপগুলি ছড়িয়ে পড়ছে। Warmup-stable-decay (WSD) একটি ধ্রুবক হার বজায় রাখে তারপরে শেষের দিকে দ্রুত ক্ষয় হয়, যার ফলে একটি নির্দিষ্ট দৈর্ঘ্যে পুনরায় কমিট না করে রান বাড়ানো সহজ হয়। গবেষকরা এও অধ্যয়ন করছেন যে ওয়ার্মআপ কেন কাজ করে — এটিকে গ্রেডিয়েন্ট নয়েজ এবং লস-ল্যান্ডস্কেপ বক্রতার সাথে লিঙ্ক করে — এবং সরঞ্জামগুলি ক্রমবর্ধমানভাবে অটো-টিউন ওয়ার্মআপ দৈর্ঘ্য এবং সর্বোচ্চ হার, ম্যানুয়াল ট্রায়াল-এন্ড-এরর হ্রাস করে যা আজকে প্রাধান্য পাচ্ছে৷
ফ্রি নিউজলেটার
প্রতি সপ্তাহের কাজের দিন সকালে তিনটি যাচাইকৃত এআই স্টোরি, সহজ ইংরেজিতে লেখা। চিরকালের জন্য ফ্রি, কোনো বিজ্ঞাপন নেই।
প্রতি সপ্তাহের কাজের দিনে একটি ইমেল। এক ক্লিকেই আনসাবস্ক্রাইব করুন। আমরা কখনোই আপনার ঠিকানা বিক্রি বা শেয়ার করি না।
নিজেকে পরীক্ষা করুন
প্রতিটি উত্তরের তাৎক্ষণিক ফিডব্যাক, এবং কোর্স পাস করার পর যাচাইযোগ্য আইডি সহ একটি শেয়ারযোগ্য সার্টিফিকেট।
ফ্রি এআই শিক্ষাকে সমর্থন করুন। AI Understanding একটি 501(c)(3) অলাভজনক প্রতিষ্ঠান — কোনো বিজ্ঞাপন নেই, কোনো পেওয়াল নেই, কখনোই না। একটি দান করুন
ওয়ার্মআপ প্রশিক্ষণের আগে শেখার হারকে শূন্যের কাছাকাছি থেকে উপরে নিয়ে আসে, তারপর কোসাইন অ্যানিলিং একটি কোসাইন বক্ররেখা অনুসরণ করে এটিকে মসৃণভাবে ক্ষয় করে। একসাথে তারা প্রাথমিক প্রশিক্ষণকে স্থিতিশীল করে এবং আরও ভাল চূড়ান্ত নির্ভুলতা বের করে দেয়, যে কারণে প্রায় প্রতিটি আধুনিক ট্রান্সফরমারকে এইভাবে প্রশিক্ষিত করা হয়।
এলোমেলো ওজনের উপর একটি বড় শেখার হারে শুরু করা ক্ষতির স্পাইক বা বিচ্যুতির কারণ হতে পারে, তাই ওয়ার্মআপ প্রাথমিক পদক্ষেপগুলিকে স্থিতিশীল রাখতে মৃদুভাবে হারকে বাড়িয়ে দেয়।
হারটি 0.5 * (1 + cos(pi * t / T)) দ্বারা মাপানো হয়েছে, একটি মসৃণ পাহাড় তৈরি করে যা প্রথম দিকে উঁচু থাকে এবং শেষে শূন্যের কাছাকাছি চলে যায়।
অ্যাডামের চলমান ভিন্নতা অনুমানগুলি প্রথম ধাপে খুব কম নমুনার উপর ভিত্তি করে, কার্যকরী ধাপের আকারকে অনিয়মিত করে তোলে — ওয়ার্মআপ এটিকে প্রশমিত করে।
T হল সেই দিগন্ত যার উপরে হার তার সর্বোচ্চ থেকে শূন্যের কাছাকাছি ক্ষয়ে যায়; t হল সেই দিগন্তের মধ্যে বর্তমান পদক্ষেপ।
The guide describes a short linear warmup followed by cosine annealing.
শিখতে থাকুন
এই বিষয়ের জন্য বাছাই করা আরও গাইড
পরবর্তী আপপরবর্তী গাইড
কীভাবে এআই শিডিউল দিয়ে জেট ল্যাগকে হারানো যায়
অ্যাপ্লিকেশন