Útmutatóhoz kapcsolódó kvíz · Közepes Szint

Prompt Versioning and Regression Testing Quiz

Megvizsgálja, hogy mi tartozik egy verziózott prompt konfigurációhoz, hogyan kezelik a regressziós csomagok a nondeterminizmust, és miért van szükség a modell pillanatképeinek és az LLM-bírálóknak a rögzítésére.

kérdés 1 -ból 8

Melyik elemkészletet kell együtt verziózni egyetlen prompt konfigurációként?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Melyik elemkészletet kell együtt verziózni egyetlen prompt konfigurációként?
    • Only the prompt wording
    • Only the model name
    • Prompt template, model identifier, sampling parameters and tool schemas
    • Only the user inputs from production
  2. Miért rögzítsünk keltezett modell pillanatképet az általános legújabb álnév helyett?
    • So model changes happen only when you deliberately switch and re-test
    • Because aliases are always slower
    • Because snapshots are free
    • Because aliases do not support system prompts
  3. Mit mond az útmutató a 0 hőmérsékletről?
    • It guarantees identical outputs every time
    • It makes regression testing unnecessary
    • It only affects the length of outputs
    • It reduces randomness but does not guarantee identical outputs across runs
  4. Hogyan kezelje a regressziós csomag a nemdeterminisztikus kimeneteket?
    • Require exact string matches
    • Use thresholds and repeated samples instead of exact equality
    • Ignore any failing cases
    • Only test with a single example
  5. Mi az új tesztesetek erős forrása egy aranykészlethez?
    • Past production failures turned into test cases
    • Random text from the web
    • Only cases the current prompt already passes
    • Outputs copied from a competitor
  6. If an LLM judge grades outputs, what should you do?
    • Let the judge model change freely
    • Trust every verdict without review
    • Pin the judge's model and prompt and check it against human labels
    • Use the same prompt under test as the judge
  7. Why log the prompt version ID with each production request?
    • To reduce token costs
    • To improve model accuracy
    • To satisfy the model provider's terms
    • To tie problems to a specific deploy and roll back quickly
  8. Why list individual cases that flipped from pass to fail rather than only the average score?
    • Averages are always wrong
    • An unchanged average can hide new breakage offset by gains elsewhere
    • Flipped cases reduce API costs
    • Only flipped cases are graded