গাইড লিঙ্ক ক্যুইজ · মাঝারি স্তর

পুনরাবৃত্তিমূলক ডিপিও এবং অনলাইন পছন্দ টিউনিং কুইজ

জানুন কিভাবে পুনরাবৃত্তিমূলক DPO পছন্দের ডেটা রিফ্রেশ করে, বিচারকদের ব্যবহার করে এবং অতিরিক্ত খরচ এবং পক্ষপাতের বিরুদ্ধে বারবার সারিবদ্ধ রাউন্ড বাণিজ্য করে।

প্রশ্ন 1 এর 8

প্রথাগত RLHF (PPO) এর প্রয়োজন ডিপিও কি এড়াতে পারে?

প্রতিটি প্রশ্নের পূর্বরূপ দেখুন8 প্রশ্ন

আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।

  1. প্রথাগত RLHF (PPO) এর প্রয়োজন ডিপিও কি এড়াতে পারে?
    • একটি পৃথক স্পষ্ট পুরস্কার মডেল প্রশিক্ষণ
    • কোন প্রশিক্ষণ তথ্য
    • একটি নিউরাল নেটওয়ার্ক ব্যবহার করে
    • সম্পূর্ণরূপে মানুষের পছন্দ
  2. কেন পুনরাবৃত্তিমূলক (অনলাইন) ডিপিও একটি নির্দিষ্ট ডেটাসেটে একবার ডিপিও চালানোর চেয়ে প্রায়শই ভাল?
    • এটি কোন পছন্দ লেবেল প্রয়োজন
    • এটি মডেলের পরিবর্তনের সাথে সাথে প্রশিক্ষণের ডেটা অন-পলিসি এবং তাজা রাখে
    • এটি রেফারেন্স মডেল সরিয়ে দেয়
    • এটি শুধুমাত্র ছবির জন্য কাজ করে
  3. ডিপিও ক্ষতির ক্ষেত্রে রেফারেন্স মডেল কী ভূমিকা পালন করে?
    • এটি চূড়ান্ত ব্যবহারকারীর আউটপুট তৈরি করে
    • এটি পছন্দগুলি লেবেল করে
    • এটি লগ-সম্ভাব্যতা অনুপাতের মাধ্যমে নীতিকে অ্যাঙ্কর করে, বিচ্যুতি নিয়ন্ত্রণ করে
    • এটি টোকেনাইজার প্রতিস্থাপন করে
  4. অনলাইন ডিপিওর একক পুনরাবৃত্তিতে, সাধারণ ক্রমটি কী?
    • মডেলটি মুছুন, তারপর স্ক্র্যাচ থেকে পুনরায় প্রশিক্ষণ দিন
    • নমুনা ছাড়াই শুধুমাত্র পুরানো ডেটা রিবেল করুন
    • প্রতিক্রিয়ার উপর একটি CNN প্রশিক্ষণ
    • নমুনা নতুন প্রতিক্রিয়া, বিচার পছন্দ, তারপর একটি DPO আপডেট চালান
  5. ডিপিও-তে বিটা হাইপারপ্যারামিটার কী নিয়ন্ত্রণ করে?
    • নীতিটি রেফারেন্স মডেল থেকে কতটা দৃঢ়ভাবে বিচ্যুত হয়
    • শব্দভান্ডারের আকার
    • GPU এর সংখ্যা
    • ছবির রেজোলিউশন
  6. 'স্ব-পুরস্কারমূলক' পুনরাবৃত্তিমূলক ডিপিওর পিছনে একটি মূল ধারণা কী?
    • মডেল কখনও কোন পছন্দ ব্যবহার করে না
    • মডেলটি প্রশিক্ষণের ডেটা তৈরি করতে নিজস্ব প্রতিক্রিয়া জোড়া তৈরি করে এবং বিচার করে
    • মানুষের প্রতিটি একক জোড়া লেবেল করা আবশ্যক
    • এটি শুধুমাত্র র্যান্ডম পুরষ্কার ব্যবহার করে
  7. Who can label response preferences in an online DPO iteration?
    • Only the tokenizer
    • Only the reference policy’s embedding layer
    • Human raters or an AI judge such as a reward model
    • A discriminator that never sees responses
  8. What additional work does iterative DPO require compared with using a fixed preference dataset once?
    • Training no model parameters
    • Removing all evaluation from the pipeline
    • Storing every possible response in advance
    • Repeated response generation and preference labeling between updates