গাইড লিঙ্ক ক্যুইজ · মাঝারি স্তর

এলএলএম-এ-জজ কুইজ

মডেল-ভিত্তিক মূল্যায়ন, পয়েন্টওয়াইজ এবং পেয়ারওয়াইজ রুব্রিক, বিচার পক্ষপাত এবং মানুষের পছন্দের বিরুদ্ধে বৈধতা পর্যালোচনা করুন। অনুশীলনে

সম্পর্কিত গাইড পাথবিচারক হিসাবে এলএলএম
প্রশ্ন 1 এর 8

'এলএলএম-এ-জজ' কী বোঝায়?

প্রতিটি প্রশ্নের পূর্বরূপ দেখুন8 প্রশ্ন

আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।

  1. 'এলএলএম-এ-জজ' কী বোঝায়?
    • স্কোর করতে বা অন্য মডেলের আউটপুট তুলনা করতে একটি ভাষা মডেল ব্যবহার করে
    • আইনি রায় লিখতে একটি ভাষা মডেল ব্যবহার করে
    • একটি মডেল যা শুধুমাত্র হ্যাঁ/না প্রশ্নের উত্তর দেয়
    • একটি মডেল যা তারিখ অনুসারে অনুসন্ধানের ফলাফলগুলিকে স্থান দেয়৷
  2. পয়েন্টওয়াইজ এবং পেয়ারওয়াইজ বিচারের মধ্যে পার্থক্য কী?
    • পয়েন্টওয়াইজ দ্রুততর; pairwise ধীর কিন্তু অভিন্ন অন্যথায়
    • একটি রুব্রিকের বিপরীতে পয়েন্টওয়াইজ গ্রেড এক উত্তর; জোড়ায় জোড়ায় দুটির মধ্যে ভালো বাছাই করে
    • Pointwise শুধুমাত্র কোডের জন্য কাজ করে; শুধু গদ্যের জন্য জোড়ায় জোড়ায়
    • কোন বাস্তব পার্থক্য নেই
  3. এগুলির মধ্যে কোনটি এলএলএম বিচারকদের মধ্যে একটি ভাল নথিভুক্ত পক্ষপাত?
    • সমস্ত বড় অক্ষরে লেখা উত্তর পছন্দ করা
    • সর্বদা বর্ণানুক্রমিকভাবে প্রথম শব্দটিকে প্রাধান্য দেওয়া
    • গুণমান নির্বিশেষে দীর্ঘ উত্তরের পক্ষে
    • ইতিহাস সম্পর্কে গ্রেড প্রশ্ন প্রত্যাখ্যান
  4. কীভাবে মূল্যায়নকারীরা সাধারণত জুটিভিত্তিক তুলনাতে অবস্থানের পক্ষপাতের মোকাবিলা করে?
    • একটি সময়ে শুধুমাত্র একটি উত্তর দেখিয়ে
    • সর্বদা দীর্ঘ উত্তর প্রথমে রেখে
    • ন্যায্যতা ক্ষেত্র মুছে ফেলার মাধ্যমে
    • অর্ডার অদলবদল সঙ্গে দুইবার প্রতিটি তুলনা চালানোর দ্বারা
  5. What evaluation procedure did G-Eval use for generated text?
    • Chain-of-thought steps followed by a form-filling evaluation against criteria
    • A speaker verification threshold
    • A search index with BM25 only
    • An image classifier trained on screenshots
  6. কিভাবে একটি দল নিশ্চিত করতে পারে যে একজন এলএলএম বিচারক মানুষের পছন্দের সাথে সংযুক্ত থাকে?
    • সেটআপ করার পরে এটি আর কখনও চেক না করে
    • এটি একটি মানব-লেবেলযুক্ত সোনার সেটের বিরুদ্ধে ক্যালিব্রেট করে
    • নিজেকে জাজ গ্রেড বানিয়ে
    • শুধুমাত্র সপ্তাহান্তে এটি ব্যবহার করে
  7. What is self-preference bias in LLM-based evaluation?
    • A judge always selects the shortest answer
    • A judge cannot compare two outputs
    • A judge favors outputs generated by its own model or model family
    • A judge evaluates only audio signals
  8. What does G-Eval use to make its discrete score more fine-grained in the reported method?
    • The position of the answer in a pairwise comparison
    • The judge model’s parameter count only
    • A count of citations in the answer
    • Probability weights over the candidate score tokens