পরবর্তী আপপরবর্তী গাইড
ট্রেডিং জন্য শক্তিবৃদ্ধি শিক্ষা
টেকনিক্যাল
প্রযুক্তিগত গাইড
মানবিক প্রতিক্রিয়া থেকে শক্তিবৃদ্ধি শিক্ষা
Reinforcement learning from human feedback uses human judgments to construct a training signal for a model’s behavior.
এই নির্দেশিকা শুনুনএআই-বর্ণিত · ~2 min
এই পৃষ্ঠায়2 মিনিট পঠিত
ওভারভিউ
It can improve agreement with collected preferences, but does not guarantee truthful, safe, or universally preferred answers.
গভীর ডুব
A pretrained language model predicts plausible text, but plausible is not the same as helpful, honest, or safe. A common RLHF pipeline addresses these goals in stages. First, supervised fine-tuning teaches the model to follow instructions using human-written example answers. Next, humans compare pairs of model responses to the same prompt and pick the better one; these comparisons train a separate reward model that scores any response. Finally, the language model is optimized with reinforcement learning to produce responses the reward model rates highly. A penalty regularizes deviation from a reference policy; it does not eliminate exploitation of reward-model errors. RLHF was central to making ChatGPT-style assistants usable.
বাস্তব-বিশ্ব বাস্তবায়ন
একটি চ্যাট সহকারীকে টিউন করা যাতে এটি ক্ষতিকারক অনুরোধগুলি প্রত্যাখ্যান করে এবং কেবল যুক্তিযুক্ত পাঠ্যের পরিবর্তে সহায়ক, সুগঠিত উত্তর দেয়৷
মানুষের পছন্দ অনুসারে সারাংশের জোড়া র্যাঙ্কিং করে এমন একটি মডেলকে প্রশিক্ষণ দেওয়ার জন্য যা সারসংক্ষেপ লেখার জন্য লোকেদের আসলে দরকারী বলে মনে হয়।
পুরস্কৃত প্রতিক্রিয়ার দ্বারা বিষাক্ত বা পক্ষপাতদুষ্ট আউটপুট হ্রাস করা যা মানব রেটাররা সম্মানজনক এবং নিরাপদ বিচার করে।
একটি সম্পূর্ণ PPO লুপ না চালিয়ে একটি ওপেন-সোর্স মডেল সারিবদ্ধ করতে পছন্দের বনাম প্রত্যাখ্যান করা উত্তরগুলির ডেটাসেটে DPO ব্যবহার করা।
মানুষের প্রতিক্রিয়া থেকে শক্তিবৃদ্ধি শেখার ভবিষ্যত
RLHF স্ট্রিমলাইন করা হচ্ছে এবং আংশিকভাবে স্বয়ংক্রিয়। DPO এবং সম্পর্কিত প্রত্যক্ষ-অভিরুচি পদ্ধতিগুলি অনেক দলের জন্য ভারী PPO পাইপলাইন প্রতিস্থাপন করছে, এবং RLAIF লেবেলিং খরচ কমাতে AI-উত্পন্ন প্রতিক্রিয়া (সাংবিধানিক AI হিসাবে) ব্যবহার করে। রিসার্চ পুরষ্কার হ্যাকিং, টীকাকারী পক্ষপাত এবং দীর্ঘ বা বিশেষজ্ঞ প্রতিক্রিয়া বিচার করার অসুবিধা মোকাবেলা করছে, প্রক্রিয়া তত্ত্বাবধান এবং বিতর্কের মতো কৌশলগুলি সহ। মানব এবং AI প্রতিক্রিয়া মিশ্রিত করার জন্য সারিবদ্ধতা আশা করুন, একক থাম্বস-আপের বাইরে আরও সমৃদ্ধ পুরষ্কার সংকেত এবং কে পছন্দগুলি প্রদান করে এবং তারা কী মানগুলি এনকোড করে তা নিয়ে ক্রমবর্ধমান যাচাই-বাছাই।
এটাকে বাস্তবে প্রয়োগ করা হচ্ছে
কেন এটা গুরুত্বপূর্ণ
- খরচ ও বাজেট. আর্কিটেকচারের সিদ্ধান্তগুলি বছরের পর বছর ধরে কর্মক্ষমতা এবং অপারেটিং খরচ চালায়।
- সুস্পষ্ট সিদ্ধান্ত. কারিগরি শিক্ষা দলগুলোকে সঠিক স্ট্যাক বেছে নিতে সাহায্য করে, শুধু নতুনটি নয়।
- মান নিয়ন্ত্রণ. ভালো ইঞ্জিনিয়ারিং পছন্দ উৎপাদনে নির্ভরযোগ্যতার ঘটনা কমিয়ে দেয়।
জন্য সতর্ক
- একটি বেঞ্চমার্ক অপ্টিমাইজ করা বৃহত্তর সিস্টেম দুর্বলতা আড়াল করতে পারে।
- অবকাঠামো এবং রক্ষণাবেক্ষণের খরচ প্রায়ই অবমূল্যায়ন করা হয়।
- সিস্টেমগুলি আরও জটিল হওয়ার সাথে সাথে সুরক্ষা এবং পর্যবেক্ষণযোগ্যতার ফাঁক বাড়তে পারে।
পরবর্তী পদক্ষেপ
- বাস্তবায়নের আগে বিলম্ব, গুণমান এবং খরচের লক্ষ্য নির্ধারণ করুন।
- বাস্তবসম্মত লোড এবং ডেটা অবস্থার অধীনে বেঞ্চমার্ক।
- ত্রুটি, প্রবাহ, এবং ব্যবহারকারীর প্রভাবের জন্য যন্ত্র পর্যবেক্ষণ।
- স্কেল করার আগে রোলব্যাক এবং ঘটনার প্রতিক্রিয়া পাথ প্রস্তুত করুন।
অন্বেষণ চালিয়ে যান
ফ্রি নিউজলেটার
প্রতিদিনের এআই ব্রিফিং পান
প্রতি সপ্তাহের কাজের দিন সকালে তিনটি যাচাইকৃত এআই স্টোরি, সহজ ইংরেজিতে লেখা। চিরকালের জন্য ফ্রি, কোনো বিজ্ঞাপন নেই।
প্রতি সপ্তাহের কাজের দিনে একটি ইমেল। এক ক্লিকেই আনসাবস্ক্রাইব করুন। আমরা কখনোই আপনার ঠিকানা বিক্রি বা শেয়ার করি না।
নিজেকে পরীক্ষা করুন
Take the Reinforcement Learning From Human Feedback quiz
প্রতিটি উত্তরের তাৎক্ষণিক ফিডব্যাক, এবং কোর্স পাস করার পর যাচাইযোগ্য আইডি সহ একটি শেয়ারযোগ্য সার্টিফিকেট।
ফ্রি এআই শিক্ষাকে সমর্থন করুন। AI Understanding একটি 501(c)(3) অলাভজনক প্রতিষ্ঠান — কোনো বিজ্ঞাপন নেই, কোনো পেওয়াল নেই, কখনোই না। একটি দান করুন
প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী
মানুষের প্রতিক্রিয়া থেকে শক্তিবৃদ্ধি শেখা কি?
Reinforcement learning from human feedback uses human judgments to construct a training signal for a model’s behavior. It can improve agreement with collected preferences, but does not guarantee truthful, safe, or universally preferred answers.
একটি ভাষা মডেলের জন্য RLHF এর মূল উদ্দেশ্য কি?
RLHF মানুষের পছন্দের প্রতিক্রিয়াগুলির দিকে একটি মডেল পরিচালনা করে, এটিকে নিছক যুক্তিযুক্ত না করে আরও সহায়ক, সৎ এবং নিরাপদ করে তোলে।
RLHF-এ পুরস্কারের মডেল আসলে কী করতে শেখে?
পুরষ্কার মডেলটি স্কোর প্রতিক্রিয়ার সাথে মানুষের পছন্দের তুলনার উপর প্রশিক্ষিত হয়, নীতির বিরুদ্ধে অপ্টিমাইজ করার সংকেত প্রদান করে।
What does a KL-divergence penalty against a reference policy aim to regularize in an RLHF objective?
The penalty discourages large policy shifts. It is not proof that the reward model cannot be exploited or that generated answers are correct.
পুরস্কার মডেলের জন্য সাধারণত পছন্দের ডেটা কীভাবে সংগ্রহ করা হয়?
টীকাকাররা জুটিভিত্তিক তুলনাতে পছন্দের প্রতিক্রিয়া বেছে নেয়, যা ব্র্যাডলি-টেরি-স্টাইলের ক্ষতির মাধ্যমে পুরস্কার মডেলকে প্রশিক্ষণ দেয়।
ক্লাসিক RLHF পাইপলাইনে DPO (ডাইরেক্ট প্রেফারেন্স অপ্টিমাইজেশান) কোন সুবিধা দেয়?
ডিপিও আলাদা পুরষ্কার মডেল এবং স্থিরভাবে শক্তিবৃদ্ধি শেখার পদক্ষেপ এড়িয়ে, পছন্দগুলি থেকে সরাসরি উদ্দেশ্য অর্জন করে।
শিখতে থাকুন
সম্পর্কিত গাইড
এই বিষয়ের জন্য বাছাই করা আরও গাইড