গাইড লিঙ্ক ক্যুইজ · মাঝারি স্তর

একটি এলএলএম ইভাল ডেটাসেট কুইজ তৈরি করা

রিয়েল কেস সোর্সিং টেস্ট, সোনালি উত্তর বনাম রুব্রিক্স, এজ-কেস কভারেজ, এবং একটি ইভাল সেটের সাইজিং যাতে স্কোরের পার্থক্য অর্থবহ হয়।

প্রশ্ন 1 এর 8

ইভাল কেসগুলির জন্য সেরা শুরুর উত্স হিসাবে গাইডটি কী সুপারিশ করে?

প্রতিটি প্রশ্নের পূর্বরূপ দেখুন8 প্রশ্ন

আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।

  1. ইভাল কেসগুলির জন্য সেরা শুরুর উত্স হিসাবে গাইডটি কী সুপারিশ করে?
    • শুধুমাত্র এলএলএম-জেনারেটেড সিন্থেটিক প্রশ্ন
    • পাবলিক বেঞ্চমার্ক লিডারবোর্ড
    • র্যান্ডম টেক্সট ইন্টারনেট থেকে স্ক্র্যাপ
    • প্রকৃত ব্যবহার, যেমন লগ, সমর্থন টিকিট এবং অনুসন্ধান ক্যোয়ারী
  2. যখন একটি রুব্রিক একটি একক সোনার উত্তরের চেয়ে বেশি উপযুক্ত?
    • নির্দিষ্ট লেবেল সহ একটি শ্রেণীবিভাগের কাজের জন্য
    • খোলামেলা কাজের জন্য যেখানে অনেকগুলি বিভিন্ন শব্দ সঠিক হতে পারে
    • একটি সঠিক চালান নম্বর বের করার জন্য
    • রুব্রিক কখনই বেশি উপযুক্ত নয়
  3. এর মধ্যে কোনটি একটি সুলিখিত রুব্রিক মানদণ্ড?
    • সহায়ক
    • স্বাভাবিক শোনাচ্ছে
    • ফেরতের সময়সীমা উল্লেখ করে
    • উচ্চ মানের হয়
  4. 100টি পাস/ফেল মামলা এবং 80 শতাংশের কাছাকাছি পাসের হার সহ, গাইড ত্রুটির মার্জিন সম্পর্কে কী বলে?
    • এটি মোটামুটি প্লাস বা মাইনাস 8 শতাংশ পয়েন্ট, তাই একটি দুই-পয়েন্ট উন্নতি গোলমালের মতো দেখায়
    • এটি প্রায় প্লাস বা মাইনাস 0.1 শতাংশ পয়েন্ট
    • এটা ঠিক শূন্য
    • এটি প্রায় প্লাস বা মাইনাস 50 শতাংশ পয়েন্ট
  5. একটি রিগ্রেশন স্লাইস উদ্দেশ্য কি?
    • স্বয়ংক্রিয়ভাবে পুরানো মামলা মুছে ফেলার জন্য
    • মডেলের প্রতিক্রিয়া ত্বরান্বিত করতে
    • সেটে অতীতের ব্যর্থতাগুলো রাখতে যাতে ফিক্সগুলো পরীক্ষিত থাকে
    • তার নিজের ভুলের উপর মডেল প্রশিক্ষণ
  6. রুব্রিক আইটেম গ্রেড করার জন্য একজন এলএলএম বিচারককে বিশ্বাস করার আগে আপনার কী করা উচিত?
    • বিচারকের তাপমাত্রা বাড়ান
    • রুব্রিকটি সরান যাতে বিচারক স্বাধীনভাবে সিদ্ধান্ত নিতে পারেন
    • একটি একক মামলায় বিচারককে পরীক্ষা করুন
    • লোকেদের একটি নমুনা লেবেল করুন এবং বিচারক তাদের সাথে কতবার একমত হন তা পরিমাপ করুন
  7. আপনি যে ডেটাসেটের বিরুদ্ধে টিউন করেন না তার একটি হোল্ড-আউট অংশ কেন রাখবেন?
    • পরীক্ষার সেটে প্রম্পট ওভারফিটিং এড়াতে
    • স্টোরেজ স্পেস বাঁচাতে
    • কারণ প্রবিধানের প্রয়োজন আছে
    • বিলম্ব কমাতে
  8. কেন দুটি সংস্করণ তুলনা করার সময় একই ক্ষেত্রে জোড়া তুলনা দরকারী?
    • তারা যেকোন গ্রেডারের প্রয়োজনীয়তা দূর করে
    • তারা সাধারণত স্বাধীন নমুনা তুলনা তুলনায় কম উদাহরণ প্রয়োজন
    • তারা মডেল আউটপুট থেকে সমস্ত nondeterminism সরিয়ে দেয়
    • তারা একটি নিখুঁত স্কোর গ্যারান্টি