পরবর্তী আপপরবর্তী গাইড
প্রক্সিমাল পলিসি অপ্টিমাইজেশান
ভাষা এআই
প্রযুক্তিগত গাইড
গ্রুপ রিলেটিভ পলিসি অপ্টিমাইজেশান
গ্রুপ রিলেটিভ পলিসি অপ্টিমাইজেশান (GRPO) হল ফাইন-টিউনিং ল্যাঙ্গুয়েজ মডেলের জন্য একটি রিইনফোর্সমেন্ট-লার্নিং পদ্ধতি যা প্রতিটি উত্তরকে একই প্রম্পটে ভাইবোন উত্তরের একটি গ্রুপের বিপরীতে বিচার করে, PPO দ্বারা ব্যবহৃত আলাদা ভ্যালু নেটওয়ার্ক বাদ দেয়।
এই নির্দেশিকা শুনুনএআই-বর্ণিত · ~2 min
এই পৃষ্ঠায়2 মিনিট পঠিত
ওভারভিউ
এটি DeepSeek যুক্তি মডেলগুলির পিছনে মূল প্রশিক্ষণ কৌশল হিসাবে বিখ্যাত হয়েছিল।
গভীর ডুব
GRPO is a variant of policy-gradient reinforcement learning designed to make RL fine-tuning of large language models cheaper and more stable. Many PPO implementations train a value model to estimate returns; its size and cost depend on the implementation. GRPO removes that critic entirely. For each prompt it samples a group of completions (say 8-64), scores them all with a reward signal, and then computes each completion's advantage by standardizing its reward against the group's mean and standard deviation. Above-average answers are reinforced and below-average ones suppressed. A KL-divergence term keeps the model close to a reference policy. Introduced by DeepSeek, it powered DeepSeekMath and the DeepSeek-R1 reasoning models.
বাস্তব-বিশ্ব বাস্তবায়ন
গণিতের সমস্যার উপর নিয়ম-ভিত্তিক শুদ্ধতা পুরস্কার ব্যবহার করে দীর্ঘ চেইন-অফ-থট যুক্তি তৈরি করতে DeepSeek-R1 এবং DeepSeekMath প্রশিক্ষণ দেওয়া
ফাইন-টিউনিং কোড-জেনারেশন মডেল যেখানে প্রতিটি স্যাম্পল সল্যুশন ইউনিট পরীক্ষায় উত্তীর্ণ হয়েছে কিনা তা দ্বারা স্কোর করা হয় এবং বিজয়ীদের বাছাই করার জন্য গ্রুপকে স্বাভাবিক করা হয়
ওপেন সোর্স RLHF পাইপলাইনগুলি (যেমন, TRL এবং verl লাইব্রেরিতে) GRPO ব্যবহার করে আলাদা মান নেটওয়ার্কের জন্য অর্থ প্রদান না করে চ্যাট মডেলগুলি সারিবদ্ধ করা
নির্দেশ-অনুসরণ বা নিরাপত্তা আচরণের উন্নতি করে প্রতি প্রম্পটে বেশ কয়েকটি প্রতিক্রিয়ার নমুনা তৈরি করে এবং পুরস্কৃত করা একটি পুরস্কার মডেলের হার তাদের সহকর্মীদের তুলনায় সর্বোচ্চ।
গ্রুপ রিলেটিভ পলিসি অপ্টিমাইজেশানের ভবিষ্যত
GRPO দ্রুত ওপেন রিজনিং মডেলের প্রশিক্ষণের জন্য একটি ডিফল্ট রেসিপি হয়ে উঠেছে, এবং ল্যাবগুলি এর দুর্বল জায়গায় পুনরাবৃত্তি করছে। গবেষকরা দৈর্ঘ্য এবং অসুবিধার পক্ষপাত (যেমন ড. GRPO), সিকোয়েন্স-লেভেলের স্বাভাবিকীকরণের পরিবর্তে টোকেন-লেভেল, এবং KL শব্দটিকে অপসারণ বা পুনরায় আকার দেওয়ার জন্য সমাধানগুলি অন্বেষণ করছেন। যাচাইযোগ্য পুরষ্কার (গণিত, কোড, টুল ব্যবহার), স্পার্স সিগন্যালগুলির আরও ভাল পরিচালনা এবং এজেন্টিক, বহু-পদক্ষেপের কাজের জন্য লাইটওয়েট সমালোচকদের সাথে গ্রুপ বেসলাইনগুলিকে একত্রিত করে এমন হাইব্রিডগুলির সাথে আরও কঠোর একীকরণের প্রত্যাশা করুন।
এটাকে বাস্তবে প্রয়োগ করা হচ্ছে
কেন এটা গুরুত্বপূর্ণ
- খরচ ও বাজেট. আর্কিটেকচারের সিদ্ধান্তগুলি বছরের পর বছর ধরে কর্মক্ষমতা এবং অপারেটিং খরচ চালায়।
- সুস্পষ্ট সিদ্ধান্ত. কারিগরি শিক্ষা দলগুলোকে সঠিক স্ট্যাক বেছে নিতে সাহায্য করে, শুধু নতুনটি নয়।
- মান নিয়ন্ত্রণ. ভালো ইঞ্জিনিয়ারিং পছন্দ উৎপাদনে নির্ভরযোগ্যতার ঘটনা কমিয়ে দেয়।
জন্য সতর্ক
- একটি বেঞ্চমার্ক অপ্টিমাইজ করা বৃহত্তর সিস্টেম দুর্বলতা আড়াল করতে পারে।
- অবকাঠামো এবং রক্ষণাবেক্ষণের খরচ প্রায়ই অবমূল্যায়ন করা হয়।
- সিস্টেমগুলি আরও জটিল হওয়ার সাথে সাথে সুরক্ষা এবং পর্যবেক্ষণযোগ্যতার ফাঁক বাড়তে পারে।
পরবর্তী পদক্ষেপ
- বাস্তবায়নের আগে বিলম্ব, গুণমান এবং খরচের লক্ষ্য নির্ধারণ করুন।
- বাস্তবসম্মত লোড এবং ডেটা অবস্থার অধীনে বেঞ্চমার্ক।
- ত্রুটি, প্রবাহ, এবং ব্যবহারকারীর প্রভাবের জন্য যন্ত্র পর্যবেক্ষণ।
- স্কেল করার আগে রোলব্যাক এবং ঘটনার প্রতিক্রিয়া পাথ প্রস্তুত করুন।
অন্বেষণ চালিয়ে যান
ফ্রি নিউজলেটার
প্রতিদিনের এআই ব্রিফিং পান
প্রতি সপ্তাহের কাজের দিন সকালে তিনটি যাচাইকৃত এআই স্টোরি, সহজ ইংরেজিতে লেখা। চিরকালের জন্য ফ্রি, কোনো বিজ্ঞাপন নেই।
প্রতি সপ্তাহের কাজের দিনে একটি ইমেল। এক ক্লিকেই আনসাবস্ক্রাইব করুন। আমরা কখনোই আপনার ঠিকানা বিক্রি বা শেয়ার করি না।
নিজেকে পরীক্ষা করুন
Take the Group Relative Policy Optimization quiz
প্রতিটি উত্তরের তাৎক্ষণিক ফিডব্যাক, এবং কোর্স পাস করার পর যাচাইযোগ্য আইডি সহ একটি শেয়ারযোগ্য সার্টিফিকেট।
ফ্রি এআই শিক্ষাকে সমর্থন করুন। AI Understanding একটি 501(c)(3) অলাভজনক প্রতিষ্ঠান — কোনো বিজ্ঞাপন নেই, কোনো পেওয়াল নেই, কখনোই না। একটি দান করুন
প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী
গ্রুপ রিলেটিভ পলিসি অপ্টিমাইজেশন কী?
গ্রুপ রিলেটিভ পলিসি অপ্টিমাইজেশান (GRPO) হল ফাইন-টিউনিং ল্যাঙ্গুয়েজ মডেলের জন্য একটি রিইনফোর্সমেন্ট-লার্নিং পদ্ধতি যা প্রতিটি উত্তরকে একই প্রম্পটে ভাইবোন উত্তরের একটি গ্রুপের বিপরীতে বিচার করে, PPO দ্বারা ব্যবহৃত আলাদা ভ্যালু নেটওয়ার্ক বাদ দেয়। এটি DeepSeek এর যুক্তি মডেলের পিছনে মূল প্রশিক্ষণ কৌশল হিসাবে বিখ্যাত হয়ে ওঠে।
Which separately learned estimator does the original GRPO approach avoid training?
GRPO uses a group-relative baseline rather than a separately learned value estimator. The size and resource savings depend on the PPO implementation used for comparison.
GRPO কিভাবে একটি প্রদত্ত সমাপ্তির সুবিধা গণনা করে?
প্রতিটি সমাপ্তির সুবিধা হল (পুরস্কার - গ্রুপ গড়) / গ্রুপ স্ট্যান্ডার্ড বিচ্যুতি, তাই একই প্রম্পটের উত্তরের গ্রুপ বেসলাইন হিসাবে কাজ করে।
কোন মডেলগুলি GRPO কে সুপরিচিত করেছে?
ডিপসিক দ্বারা GRPO প্রবর্তন ও জনপ্রিয়তা লাভ করে, বিশেষ করে DeepSeekMath-এ এবং DeepSeek-R1 রিজনিং মডেলের পিছনে RL ইঞ্জিন হিসেবে।
GRPO-তে KL-ডাইভারজেন্স শব্দটি কী ভূমিকা পালন করে?
একটি রেফারেন্স (সাধারণত প্রাক-আরএল) মডেলের বিরুদ্ধে একটি কেএল পেনাল্টি প্রশিক্ষণকে নিয়মিত করে যাতে নীতিটি ভেঙে না পড়ে বা অধঃপতিত আউটপুটে প্রবাহিত না হয়েই উন্নতি করে।
কেন GRPO গণিত বা কোডের উপর যুক্তির মডেল প্রশিক্ষণের জন্য বিশেষভাবে আকর্ষণীয়?
অনেক সমাধানের নমুনা তৈরি করা এবং GRPO-এর গ্রুপ-স্বাভাবিক সুবিধার সাথে স্বয়ংক্রিয়ভাবে শুদ্ধতা চেক জোড়া দিয়ে স্কোর করা, কোনো সমালোচকের প্রয়োজন নেই।
শিখতে থাকুন
সম্পর্কিত গাইড
এই বিষয়ের জন্য বাছাই করা আরও গাইড