Útmutatóhoz kapcsolódó kvíz · Közepes Szint

LLM Eval Dataset kvíz készítése

Tesztek valós esetek beszerzése, arany válaszok versus rubrikák, szélső esetek lefedettsége és egy eval halmaz méretezése, így a pontszámkülönbségek jelentőségteljesek.

Kapcsolódó útmutató utakLLM Eval adatkészletek készítése
kérdés 1 -ból 8

Mit ajánl az útmutató a legjobb kiindulási forrásként az eval esetekhez?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Mit ajánl az útmutató a legjobb kiindulási forrásként az eval esetekhez?
    • Only LLM-generated synthetic questions
    • Public benchmark leaderboards
    • Random text scraped from the internet
    • Real usage, such as logs, support tickets and search queries
  2. Mikor alkalmasabb egy rubrika egyetlen arany válasznál?
    • For a classification task with fixed labels
    • For open-ended tasks where many different wordings can be correct
    • For extracting an exact invoice number
    • A rubric is never more appropriate
  3. Ezek közül melyik a jól megírt rubrikakritérium?
    • Is helpful
    • Sounds natural
    • Mentions the refund deadline
    • Is high quality
  4. Mit mond az útmutató a hibahatárról 100 sikeres/sikertelen eset és közel 80 százalékos sikerességi arány mellett?
    • It is roughly plus or minus 8 percentage points, so a two-point improvement looks like noise
    • It is about plus or minus 0.1 percentage points
    • It is exactly zero
    • It is about plus or minus 50 percentage points
  5. Mi a regressziós szelet célja?
    • To delete outdated cases automatically
    • To speed up the model's responses
    • To keep past failures in the set so fixes stay tested
    • To train the model on its own mistakes
  6. What should you do before trusting an LLM judge to grade rubric items?
    • Raise the judge's temperature
    • Remove the rubric so the judge can decide freely
    • Test the judge on a single case
    • Have people label a sample and measure how often the judge agrees with them
  7. Why keep a held-out portion of the dataset that you do not tune against?
    • To avoid overfitting prompts to the test set
    • Tárhely megtakarítása érdekében
    • Mert a szabályozás megköveteli
    • To reduce latency
  8. Why are paired comparisons on the same cases useful when comparing two versions?
    • They remove the need for any grader
    • They usually need fewer examples than comparing independent samples
    • They remove all nondeterminism from model outputs
    • They guarantee a perfect score