Gids-gekoppelde quiz · Middelmatig Niveau

Een LLM Eval-datasetquiz bouwen

Tests op basis van echte cases, gouden antwoorden versus rubrieken, dekking van randgevallen en het dimensioneren van een evaluatieset zodat scoreverschillen betekenisvol zijn.

Gerelateerde gidspadenLLM Eval-gegevenssets bouwen
Vraag 1 van 8

Wat beveelt de gids aan als beste startbron voor evaluatiezaken?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Wat beveelt de gids aan als beste startbron voor evaluatiezaken?
    • Only LLM-generated synthetic questions
    • Public benchmark leaderboards
    • Random text scraped from the internet
    • Real usage, such as logs, support tickets and search queries
  2. Wanneer is een rubriek geschikter dan één gouden antwoord?
    • For a classification task with fixed labels
    • For open-ended tasks where many different wordings can be correct
    • For extracting an exact invoice number
    • A rubric is never more appropriate
  3. Welke van deze is een goed geschreven rubriekcriterium?
    • Is helpful
    • Sounds natural
    • Mentions the refund deadline
    • Is high quality
  4. Wat zegt de gids over de foutmarge, met 100 geslaagde/mislukte gevallen en een slagingspercentage van bijna 80 procent?
    • It is roughly plus or minus 8 percentage points, so a two-point improvement looks like noise
    • It is about plus or minus 0.1 percentage points
    • It is exactly zero
    • It is about plus or minus 50 percentage points
  5. Wat is het doel van een regressiesegment?
    • To delete outdated cases automatically
    • To speed up the model's responses
    • To keep past failures in the set so fixes stay tested
    • To train the model on its own mistakes
  6. What should you do before trusting an LLM judge to grade rubric items?
    • Raise the judge's temperature
    • Remove the rubric so the judge can decide freely
    • Test the judge on a single case
    • Have people label a sample and measure how often the judge agrees with them
  7. Why keep a held-out portion of the dataset that you do not tune against?
    • To avoid overfitting prompts to the test set
    • Om opslagruimte te besparen
    • Omdat de regelgeving dat vereist
    • To reduce latency
  8. Why are paired comparisons on the same cases useful when comparing two versions?
    • They remove the need for any grader
    • They usually need fewer examples than comparing independent samples
    • They remove all nondeterminism from model outputs
    • They guarantee a perfect score