পরবর্তী আপপরবর্তী গাইড
ফাইন-টিউনিং বনাম আরএজি বনাম প্রম্পটিং
ভাষা এআই
প্রযুক্তিগত গাইড
ক্রমাগত প্রাক-প্রশিক্ষণ একটি বেস মডেলকে একই পরবর্তী-টোকেন উদ্দেশ্যের সাথে প্রচুর পরিমাণে কাঁচা ডোমেন পাঠ্যের উপর প্রশিক্ষণ দেয়, যখন সূক্ষ্ম-টিউনিং ট্রেনগুলিকে লেবেলযুক্ত উদাহরণের একটি ছোট সেটে, যেমন নির্দেশ এবং প্রতিক্রিয়া জোড়া, আচরণকে আকার দিতে।
এই নির্দেশিকা শুনুনএআই-বর্ণিত · ~3 min
পছন্দটি গুরুত্বপূর্ণ কারণ প্রথমটি প্রধানত একটি মডেল একটি ডোমেন এবং এর ভাষা সম্পর্কে যা জানে তা পরিবর্তন করে, দ্বিতীয়টি প্রধানত এটি কীভাবে প্রতিক্রিয়া জানায় তা পরিবর্তন করে এবং প্রয়োজনীয় ডেটা এবং গণনা ব্যাপকভাবে আলাদা।
অবিরত প্রাক-প্রশিক্ষণ, যাকে ডোমেন-অ্যাডাপ্টিভ প্রিট্রেনিংও বলা হয়, যেখানে মূল প্রি-ট্রেনিং বন্ধ হয়েছিল সেখানে শুরু হয়। মডেল টার্গেট ডোমেন থেকে কাঁচা পাঠ দেখে, যেমন মেডিকেল পেপারস, সোর্স কোড বা আইনি ফাইলিং, এবং প্রিট্রেইনিংয়ের মতোই পরবর্তী প্রতিটি টোকেনের পূর্বাভাস দিতে শেখে। গুরুরঙ্গন এবং সহকর্মীরা 2020 সালের গবেষণাপত্র ডোন্ট স্টপ প্রিট্রেনিং-এ দেখিয়েছেন যে ইন-ডোমেন টেক্সটে প্রি-ট্রেইনিংয়ের দ্বিতীয় ধাপটি বায়োমেডিকাল, কম্পিউটার সায়েন্স, নিউজ এবং রিভিউ ডোমেনে কাজগুলিতে RoBERTA কে উন্নত করেছে। এটির জন্য সাধারণত প্রচুর পরিমাণে পাঠ্য, প্রায়শই কোটি কোটি টোকেন এবং পূর্ণ-প্যারামিটার প্রশিক্ষণের প্রয়োজন হয়, তাই এটি ফাইন-টিউনিংয়ের চেয়ে অনেক বেশি খরচ করে। ফাইন-টিউনিং, সাধারণত তত্ত্বাবধানে থাকা ফাইন-টিউনিং, প্রম্পট এবং প্রতিক্রিয়া জোড়া ব্যবহার করে। ক্ষতি সাধারণত শুধুমাত্র প্রতিক্রিয়া টোকেনগুলিতে গণনা করা হয়, তাই মডেলটি একটি ইনপুট দেওয়া হলে কী তৈরি করতে হবে তা শিখে। ডেটাসেটগুলি কয়েক হাজার থেকে কয়েক হাজার উদাহরণের পরিসর, এবং LoRA-এর মতো প্যারামিটার-দক্ষ পদ্ধতিগুলি এটিকে শালীন হার্ডওয়্যারে সাশ্রয়ী করে তোলে। এটি বিন্যাস, শৈলী, কার্য আচরণ এবং নির্দেশনা অনুসরণে শেখানোর ক্ষেত্রে ভাল। পছন্দের পদ্ধতি যেমন RLHF বা DPO প্রায়ই অনুসরণ করে। একটি সাধারণ পাইপলাইন হল বেস মডেল, তারপর অবিরত প্রি-ট্রেনিং, তারপর তত্ত্বাবধানে ফাইন-টিউনিং, তারপর পছন্দের টিউনিং। ক্রমাগত পূর্ব-প্রশিক্ষণের একটি পরিচিত ঝুঁকি রয়েছে: বিপর্যয়কর ভুলে যাওয়া, যেখানে সাধারণ দক্ষতা হ্রাস পায়। একটি চ্যাট মডেলে প্রয়োগ করা হলে, এটি নির্দেশনাকেও ক্ষয় করতে পারে, তাই দলগুলি প্রায়শই একটি বেস মডেল থেকে শুরু করে এবং পরে নির্দেশনা টিউনিং পুনরায় করে। দুটি ভুল ধারণা আউট দাঁড়ানো. প্রথমত, ফাইন-টিউনিং অনেক নতুন তথ্য যোগ করার একটি নির্ভরযোগ্য উপায় নয়; গেখম্যান এবং সহকর্মীরা (2024) এর মতো গবেষণায় দেখা গেছে যে মডেলরা ফাইন-টিউনিংয়ের মাধ্যমে ধীরে ধীরে নতুন তথ্য শিখে এবং এটি করার ফলে হ্যালুসিনেশন বাড়তে পারে। দ্রুত পরিবর্তনশীল তথ্যের জন্য, পুনরুদ্ধার প্রায়শই ভাল হাতিয়ার। দ্বিতীয়ত, ব্লুমবার্গজিপিটি কখনও কখনও অবিরাম প্রশিক্ষন হিসাবে উল্লেখ করা হয়, তবে এটি আর্থিক এবং সাধারণ ডেটার মিশ্রণে প্রথম থেকেই প্রশিক্ষিত হয়েছিল। একটি মোটামুটি নিয়ম: যখন ডোমেন ভাষা ওয়েব টেক্সট থেকে অনেক আলাদা এবং লেবেলবিহীন ডেটা প্রচুর পরিমাণে থাকে তখন অবিরত প্রাক-প্রশিক্ষণ ব্যবহার করুন; আপনার একটি আচরণ বা বিন্যাস প্রয়োজন হলে ফাইন-টিউনিং ব্যবহার করুন।
কোড Llama কোডের একটি বৃহৎ কর্পাস Llama 2 কে প্রশিক্ষণ দেওয়া চালিয়ে যাওয়ার মাধ্যমে তৈরি করা হয়েছিল, এবং এর কিছু ভেরিয়েন্টকে Python এবং নিম্নলিখিত নির্দেশাবলীর জন্য আরও প্রশিক্ষণ দেওয়া হয়েছিল।
লেবেলবিহীন লক্ষাধিক চুক্তি এবং ফাইলিং সহ একটি আইনি-প্রযুক্তি সংস্থা মডেলের আইনি ভাষা পরিচালনার উন্নতির জন্য প্রি-ট্রেনিং চালিয়ে যাচ্ছে, তারপর কয়েক হাজার টীকাযুক্ত ক্লজ-এক্সট্রাকশন উদাহরণের উপর সূক্ষ্ম সুর।
একটি ব্যাঙ্ক একটি চ্যাটবট চায় যা একটি নির্দিষ্ট JSON ফর্ম্যাটে একটি সেট টোন সহ উত্তর দেয়; তত্ত্বাবধানকৃত ফাইন-টিউনিং, বা এমনকি সতর্ক প্রম্পটিং যথেষ্ট কারণ মডেলটি ইতিমধ্যেই সাধারণ বিষয়বস্তু জানে৷
EPFL-এর মেডিট্রন মডেলগুলি Llama 2 কে ওষুধে অভিযোজিত করেছে যে কোনও টাস্ক-নির্দিষ্ট ফাইন-টিউনিংয়ের আগে চিকিত্সা সংক্রান্ত কাগজপত্র এবং ক্লিনিকাল নির্দেশিকাগুলিতে অবিরত প্রিট্রেনিংয়ের মাধ্যমে।
সক্ষম ওপেন বেস মডেলগুলির অবিচলিত প্রকাশ আরও সংস্থার জন্য অব্যাহত প্রাক-প্রশিক্ষণকে ব্যবহারিক করে তুলেছে, যদিও এর জন্য এখনও যথেষ্ট ডেটা এবং গণনার প্রয়োজন। সক্রিয় গবেষণার ক্ষেত্রগুলির মধ্যে রয়েছে ভুলে যাওয়া কমানো, ডোমেন অভিযোজন সস্তা করা এবং আলাদাভাবে প্রশিক্ষিত মডেল থেকে ওজন একত্রিত করা। অনুশীলনে, অনেক দল সম্পূর্ণ অবিরাম প্রশিক্ষনের পরিবর্তে পুনরুদ্ধারের সাথে হালকা ফাইন-টিউনিংকে জোড়া লাগিয়ে রাখবে, এমন ডোমেনের জন্য ভারী বিকল্প সংরক্ষণ করবে যাদের ভাষা সাধারণ ওয়েব ডেটা দ্বারা আচ্ছাদিত নয়।
ফ্রি নিউজলেটার
প্রতি সপ্তাহের কাজের দিন সকালে তিনটি যাচাইকৃত এআই স্টোরি, সহজ ইংরেজিতে লেখা। চিরকালের জন্য ফ্রি, কোনো বিজ্ঞাপন নেই।
প্রতি সপ্তাহের কাজের দিনে একটি ইমেল। এক ক্লিকেই আনসাবস্ক্রাইব করুন। আমরা কখনোই আপনার ঠিকানা বিক্রি বা শেয়ার করি না।
নিজেকে পরীক্ষা করুন
প্রতিটি উত্তরের তাৎক্ষণিক ফিডব্যাক, এবং কোর্স পাস করার পর যাচাইযোগ্য আইডি সহ একটি শেয়ারযোগ্য সার্টিফিকেট।
ফ্রি এআই শিক্ষাকে সমর্থন করুন। AI Understanding একটি 501(c)(3) অলাভজনক প্রতিষ্ঠান — কোনো বিজ্ঞাপন নেই, কোনো পেওয়াল নেই, কখনোই না। একটি দান করুন
ক্রমাগত প্রাক-প্রশিক্ষণ একটি বেস মডেলকে একই পরবর্তী-টোকেন উদ্দেশ্যের সাথে প্রচুর পরিমাণে কাঁচা ডোমেন পাঠ্যের উপর প্রশিক্ষণ দেয়, যখন সূক্ষ্ম-টিউনিং ট্রেনগুলিকে লেবেলযুক্ত উদাহরণের একটি ছোট সেটে, যেমন নির্দেশ এবং প্রতিক্রিয়া জোড়া, আচরণকে আকার দিতে। পছন্দটি গুরুত্বপূর্ণ কারণ প্রথমটি প্রধানত একটি মডেল একটি ডোমেন এবং এর ভাষা সম্পর্কে যা জানে তা পরিবর্তন করে, দ্বিতীয়টি প্রধানত এটি কীভাবে প্রতিক্রিয়া জানায় তা পরিবর্তন করে এবং প্রয়োজনীয় ডেটা এবং গণনা ব্যাপকভাবে আলাদা।
ক্রমাগত পূর্বপ্রশিক্ষণ কাঁচা পাঠের পরবর্তী টোকেনগুলির পূর্বাভাস দেয়, যখন সূক্ষ্ম-টিউনিং প্রম্পট এবং প্রতিক্রিয়া জোড়া থেকে শেখে।
প্রম্পটটি মাস্ক করার অর্থ হল মডেলটি শিখেছে যে ইনপুট দেওয়া হলে কী তৈরি করতে হবে, ইনপুট পুনরুত্পাদন করতে নয়।
মডেলটি ডোমেন শেখার সময় সাধারণ ডেটা সহ সাধারণ দক্ষতাগুলিকে অবনমিত হতে সাহায্য করে৷
কোড Llama হল একটি ক্রমাগত প্রশিক্ষণের উদাহরণ, কিছু ভেরিয়েন্ট Python এবং নির্দেশাবলীর জন্য আরও প্রশিক্ষিত।
ফাইন-টিউনিং ধীরে ধীরে নতুন তথ্য শিখে এবং হ্যালুসিনেশন বাড়াতে পারে, তাই তথ্য পরিবর্তনের জন্য পুনরুদ্ধার প্রায়শই ভাল।
শিখতে থাকুন
এই বিষয়ের জন্য বাছাই করা আরও গাইড
পরবর্তী আপপরবর্তী গাইড
ফাইন-টিউনিং বনাম আরএজি বনাম প্রম্পটিং
ভাষা এআই