Kvíz spojený s průvodcem · Střední úroveň
Kvíz rychlého verzování a regresního testování
Testuje, co patří do konfigurace verzovaného promptu, jak regresní sady zvládají nedeterminismus a proč snímky modelu a LLM soudci potřebují připnout.
Otázka 1 z 8
Která sada položek by měla být verzována společně jako jedna konfigurace promptu?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Která sada položek by měla být verzována společně jako jedna konfigurace promptu?
- Pouze znění promptu
- Pouze název modelu
- Šablona promptu, identifikátor modelu, parametry vzorkování a schémata nástrojů
- Pouze vstupy uživatele z produkce
- Proč použít modelový snapshot s datem místo obecného aliasu latest?
- Aby se změny modelu prováděly pouze tehdy, když je záměrně přepnete a znovu otestujete
- Protože aliasy jsou vždy pomalejší
- Protože snapshotty jsou zdarma
- Because aliases do not support system prompts
- Co říká průvodce o teplotě 0?
- Zaručuje totožné výstupy vždy
- Dělá regresní testování zbytečným
- Ovlivňuje pouze délku výstupů
- Snižuje náhodnost, ale nezaručuje totožné výstupy mezi běhy
- Jak by měla regresní sada zvládat nedeterministické výstupy?
- Vyžadovat přesné shody řetězců
- Použít prahové hodnoty a opakované vzorky místo přesné rovnosti
- Ignorovat všechny selhávající případy
- Testovat pouze s jedním příkladem
- Jaký je silný zdroj nových testovacích případů pro zlatou sadu?
- Minulé produkční selhání přeměněná na testovací případy
- Náhodný text z webu
- Pouze případy, které aktuální prompt již prochází
- Výstupy zkopírované od konkurence
- Pokud LLM soudce hodnotí výstupy, co byste měli dělat?
- Nechte model soudce volně se měnit
- Důvěřujte každému verdiktu bez kontroly
- Zafixujte model a prompt soudce a porovnejte jej s lidskými štítky
- Použijte při testování stejný prompt jako u soudce
- Proč zaznamenávat ID verze promptu u každého produkčního požadavku?
- Pro snížení nákladů na tokeny
- Pro zlepšení přesnosti modelu
- Pro splnění podmínek poskytovatele modelu
- Pro propojení problémů s konkrétním nasazením a rychlý návrat k předchozí verzi
- Proč uvádět jednotlivé případy, které se změnily z úspěšných na neúspěšné, místo pouhého průměrného skóre?
- Průměry jsou vždy zavádějící
- Nezměněný průměr může skrývat nové chyby kompenzované zisky jinde
- Změněné případy snižují náklady na API
- Hodnotí se pouze změněné případy