Kvíz spojený s průvodcem · Střední úroveň

Kvíz rychlého verzování a regresního testování

Testuje, co patří do konfigurace verzovaného promptu, jak regresní sady zvládají nedeterminismus a proč snímky modelu a LLM soudci potřebují připnout.

Otázka 1 z 8

Která sada položek by měla být verzována společně jako jedna konfigurace promptu?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Která sada položek by měla být verzována společně jako jedna konfigurace promptu?
    • Pouze znění promptu
    • Pouze název modelu
    • Šablona promptu, identifikátor modelu, parametry vzorkování a schémata nástrojů
    • Pouze vstupy uživatele z produkce
  2. Proč použít modelový snapshot s datem místo obecného aliasu latest?
    • Aby se změny modelu prováděly pouze tehdy, když je záměrně přepnete a znovu otestujete
    • Protože aliasy jsou vždy pomalejší
    • Protože snapshotty jsou zdarma
    • Because aliases do not support system prompts
  3. Co říká průvodce o teplotě 0?
    • Zaručuje totožné výstupy vždy
    • Dělá regresní testování zbytečným
    • Ovlivňuje pouze délku výstupů
    • Snižuje náhodnost, ale nezaručuje totožné výstupy mezi běhy
  4. Jak by měla regresní sada zvládat nedeterministické výstupy?
    • Vyžadovat přesné shody řetězců
    • Použít prahové hodnoty a opakované vzorky místo přesné rovnosti
    • Ignorovat všechny selhávající případy
    • Testovat pouze s jedním příkladem
  5. Jaký je silný zdroj nových testovacích případů pro zlatou sadu?
    • Minulé produkční selhání přeměněná na testovací případy
    • Náhodný text z webu
    • Pouze případy, které aktuální prompt již prochází
    • Výstupy zkopírované od konkurence
  6. Pokud LLM soudce hodnotí výstupy, co byste měli dělat?
    • Nechte model soudce volně se měnit
    • Důvěřujte každému verdiktu bez kontroly
    • Zafixujte model a prompt soudce a porovnejte jej s lidskými štítky
    • Použijte při testování stejný prompt jako u soudce
  7. Proč zaznamenávat ID verze promptu u každého produkčního požadavku?
    • Pro snížení nákladů na tokeny
    • Pro zlepšení přesnosti modelu
    • Pro splnění podmínek poskytovatele modelu
    • Pro propojení problémů s konkrétním nasazením a rychlý návrat k předchozí verzi
  8. Proč uvádět jednotlivé případy, které se změnily z úspěšných na neúspěšné, místo pouhého průměrného skóre?
    • Průměry jsou vždy zavádějící
    • Nezměněný průměr může skrývat nové chyby kompenzované zisky jinde
    • Změněné případy snižují náklady na API
    • Hodnotí se pouze změněné případy