গাইড লিঙ্ক ক্যুইজ · মাঝারি স্তর

বেঞ্চমার্ক দূষণ কুইজ

পরীক্ষা করে দেখুন কিভাবে বেঞ্চমার্ক আইটেমগুলি প্রশিক্ষণের ডেটা, সনাক্তকরণের পদ্ধতি যেমন n-গ্রাম ওভারল্যাপ এবং মিন-কে% প্রোব, এবং ক্যানারি এবং সময় বিভাজনের মতো প্রশমিত হয়।

সম্পর্কিত গাইড পাথবেঞ্চমার্ক দূষণ
প্রশ্ন 1 এর 8

বেঞ্চমার্ক দূষণ কি?

প্রতিটি প্রশ্নের পূর্বরূপ দেখুন8 প্রশ্ন

আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।

  1. বেঞ্চমার্ক দূষণ কি?
    • যখন একটি বেঞ্চমার্কে ভুল উত্তর কী থাকে
    • যখন একটি মডেল খুব কম প্রশ্নে পরীক্ষা করা হয়
    • যখন বেঞ্চমার্ক পরীক্ষার আইটেম বা তাদের উত্তরগুলি একটি মডেলের প্রশিক্ষণ ডেটাতে উপস্থিত হয়
    • যখন দুটি বেঞ্চমার্ক একই দক্ষতা পরিমাপ করে
  2. বিআইজি-বেঞ্চের কাজগুলিতে অন্তর্ভুক্ত ক্যানারি স্ট্রিংয়ের উদ্দেশ্য কী?
    • ডেটা দলগুলিকে প্রশিক্ষণের ডেটা থেকে সেই নথিগুলি ফিল্টার করতে এবং কোনও মডেল সেগুলি দেখেছে কিনা তা পরীক্ষা করতে দেয়৷
    • উত্তর এনক্রিপ্ট করতে
    • কোন কাজগুলো সবচেয়ে কঠিন তা চিহ্নিত করতে
    • কোন মডেল প্রতিটি উত্তর তৈরি করেছে তা সনাক্ত করতে
  3. GSM1k অধ্যয়নের পরামর্শ কী ছিল?
    • সমস্ত মডেল নতুন সমস্যা উচ্চ স্কোর
    • GSM8K এর কোন ত্রুটি নেই
    • প্রশিক্ষণ তথ্য ছাড়া দূষণ পরিমাপ করা যাবে না
    • কিছু মডেল GSM8K-এর তুলনায় তাজা, মিলে যাওয়া সমস্যার ক্ষেত্রে লক্ষণীয়ভাবে কম স্কোর করেছে
  4. GPT-3 কাগজটি কী ওভারল্যাপ বিশ্লেষণ করেছে?
    • সম্পূর্ণ নথিতে মিল এম্বেড করা
    • বেঞ্চমার্ক এবং প্রশিক্ষণ ডেটার মধ্যে 13-গ্রাম ওভারল্যাপ
    • প্রতিটি প্রশিক্ষণ নথির মানব পর্যালোচনা
    • প্রতিটি বেঞ্চমার্কে মিন-কে% প্রোব
  5. Min-K% Prob-এর মূল ধারণা কী?
    • প্রশিক্ষণের ডেটা থেকে সর্বনিম্ন সাধারণ k শতাংশ শব্দ মুছে ফেলা হচ্ছে
    • দূষিত পাঠ্য শ্রেণীবদ্ধ করার জন্য একটি দ্বিতীয় মডেল প্রশিক্ষণ
    • টেক্সট মডেল দেখেছে খুব কম সম্ভাবনার টোকেন আছে
    • মডেলের উত্তরের দৈর্ঘ্য পরিমাপ করা
  6. কিভাবে একটি সময়-ভিত্তিক বিভাজন, যেমন LiveCodeBench, দূষণ সনাক্ত করতে সাহায্য করে?
    • এটি মডেলের প্রশিক্ষণ কাটঅফের আগে এবং পরে প্রকাশিত সমস্যাগুলির কর্মক্ষমতা তুলনা করে
    • এটি পরিমাপ করে যে মডেলটি উত্তর দিতে কতক্ষণ সময় নেয়
    • এটি মডেলটিকে পুরানো এবং নতুন স্তরে বিভক্ত করে
    • এটি শুধুমাত্র একটি সময়সীমার মধ্যে উত্তর দেওয়া সমস্যাগুলিকে গণনা করে৷
  7. কেন কোন সঠিক ওভারল্যাপ খুঁজে পাওয়া একটি বেঞ্চমার্ক পরিষ্কার প্রমাণ করে না?
    • সঠিক মিল চালানোর জন্য খুব ধীর
    • বেঞ্চমার্ক সময়ের সাথে তাদের উত্তর পরিবর্তন করে
    • মডেলরা কখনই সঠিক পাঠ্য মনে রাখে না
    • প্যারাফ্রেজড বা অনূদিত কপি অতীতের স্ট্রিং ম্যাচিং স্লিপ করতে পারে
  8. n-গ্রাম ডিকনট্যামিনেশনে, n-কে খুব ছোট বেছে নিলে কী হবে?
    • ছোট সম্পাদনা সহ কাছাকাছি অনুলিপি মিস হয়
    • সাধারণ বাক্যাংশ থেকে অনেক মিথ্যা ইতিবাচক পতাকাঙ্কিত করা হয়
    • ফিল্টার সম্পূর্ণরূপে কাজ করা বন্ধ করে দেয়
    • শুধু উত্তর মিলছে, প্রশ্ন নয়