গাইড লিঙ্ক ক্যুইজ · মাঝারি স্তর
প্রম্পট সংস্করণ এবং রিগ্রেশন টেস্টিং কুইজ
একটি সংস্করণযুক্ত প্রম্পট কনফিগারেশনের মধ্যে কী রয়েছে, রিগ্রেশন স্যুটগুলি কীভাবে ননডিটারমিনিজম পরিচালনা করে এবং কেন মডেল স্ন্যাপশট এবং এলএলএম বিচারকদের পিন করা প্রয়োজন তা পরীক্ষা করে।
প্রশ্ন 1 এর 8
একটি প্রম্পট কনফিগারেশন হিসাবে আইটেমগুলির কোন সেটকে একসাথে সংস্করণ করা উচিত?
প্রতিটি প্রশ্নের পূর্বরূপ দেখুন8 প্রশ্ন
আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।
- একটি প্রম্পট কনফিগারেশন হিসাবে আইটেমগুলির কোন সেটকে একসাথে সংস্করণ করা উচিত?
- শুধুমাত্র প্রম্পট শব্দ
- শুধু মডেলের নাম
- প্রম্পট টেমপ্লেট, মডেল শনাক্তকারী, স্যাম্পলিং প্যারামিটার এবং টুল স্কিমা
- Only the user inputs from production
- কেন একটি জেনেরিক সর্বশেষ উপনামের পরিবর্তে একটি তারিখযুক্ত মডেল স্ন্যাপশট পিন করবেন?
- So model changes happen only when you deliberately switch and re-test
- Because aliases are always slower
- Because snapshots are free
- Because aliases do not support system prompts
- নির্দেশিকা তাপমাত্রা 0 সম্পর্কে কী বলে?
- It guarantees identical outputs every time
- It makes regression testing unnecessary
- It only affects the length of outputs
- It reduces randomness but does not guarantee identical outputs across runs
- কিভাবে একটি রিগ্রেশন স্যুট ননডেটারমিনিস্টিক আউটপুট পরিচালনা করা উচিত?
- Require exact string matches
- Use thresholds and repeated samples instead of exact equality
- Ignore any failing cases
- Only test with a single example
- একটি গোল্ডেন সেটের জন্য নতুন পরীক্ষার ক্ষেত্রে একটি শক্তিশালী উৎস কি?
- Past production failures turned into test cases
- Random text from the web
- Only cases the current prompt already passes
- Outputs copied from a competitor
- If an LLM judge grades outputs, what should you do?
- Let the judge model change freely
- Trust every verdict without review
- Pin the judge's model and prompt and check it against human labels
- Use the same prompt under test as the judge
- Why log the prompt version ID with each production request?
- To reduce token costs
- To improve model accuracy
- To satisfy the model provider's terms
- To tie problems to a specific deploy and roll back quickly
- Why list individual cases that flipped from pass to fail rather than only the average score?
- Averages are always wrong
- An unchanged average can hide new breakage offset by gains elsewhere
- Flipped cases reduce API costs
- Only flipped cases are graded