Kvíz spojený s průvodcem · Střední úroveň
Inverzní škálování v kvízu o jazykových modelech
Interpretujte inverzní škálování pomocí skóre úkolů, ovládacích prvků modelové řady, zapamatovaných vzorců, rozptylovačů, nejistoty a možných zvratů trendů.
Otázka 1 z 8
Tři stále větší modely ve srovnatelné sérii dosahují 80 %, 70 % a 60 % ve stejném úkolu přesnosti. Co to ukazuje?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Tři stále větší modely ve srovnatelné sérii dosahují 80 %, 70 % a 60 % ve stejném úkolu přesnosti. Co to ukazuje?
- Inverzní trend u tohoto úkolu oproti testovaným velikostem
- Že každá schopnost klesá s velikostí modelu
- Že všechny tři modely mají stejnou tréninkovou ztrátu
- Že větší čtvrtý model musí mít skóre pod 60 %
- Proč může lepší průměrná ztráta dalšího tokenu koexistovat s horším výkonem v úloze po instrukci?
- Dvě opatření hodnotí vždy stejný cíl
- Předvídání známého textu a následování změněného pokynu může zvýhodnit různé výstupy
- Nižší ztráta dalšího tokenu vždy znamená horší jazykové modelování
- Přesnost úlohy je nezávislá na výstupu modelu
- Výzva dodává známé frázi neobvyklý konec, ale model používá známou koncovku. Který navrhovaný vzor selhání to ilustruje?
- Zvýšení paměti akcelerátoru
- Snížení velikosti slovní zásoby
- Zapamatované pokračování má přednost před dodanou instrukcí
- Zaručené zlepšení přesnosti úkolu
- Čtvrtý, větší model má skóre 85 % po sekvenci 80 %, 70 % a 60 %. Jak by to mělo hodnocení hlásit?
- Zahoďte čtvrtý výsledek, abyste zachovali původní nárok
- Prohlašte, že dřívější měření nikdy neproběhla
- Předpokládejte, že všechny budoucí modely získají přesně 85 %
- Nahlaste obrat a omezte dřívější inverzní požadavek na jeho naměřený rozsah
- Proč srovnávání nesouvisejících malých a velkých modelů komplikuje tvrzení, že velikost způsobila změnu skóre?
- Tréninková data, cíle a další možnosti se také mohou lišit
- Různé názvy modelů znemožňují hodnocení
- Menší model musel vidět méně dat
- Počty parametrů určují každou volbu tréninku
- Co může způsobit snadnější úloha rozptýlení při hodnocení s inverzním měřítkem?
- Vyhodnocovací kód se musí zastavit
- Model může být lepší v rušivém vzoru namísto zamýšleného úkolu
- Všechny možnosti odpovědí jsou stejně správné
- Skutečný úkol je automaticky vyřešen
- Které informace by měly být uchovány, aby mohl jiný tým zkontrolovat hodnocení?
- Pouze skóre největšího modelu
- Horší je pouze souhrn, který tvrdí, že je větší
- Výzvy, formát odpovědí, bodovací kód, identifikátory modelu a testované velikosti
- Pouze počet vygenerovaných tokenů
- Pokud ztráta modelu klesá s rostoucím měřítkem, lze tento pokles sám o sobě nazvat inverzním měřítkem?
- Ano, každá sestupná křivka je inverzní škálování
- Ano, nižší ztráta znamená podle definice méně správných předpovědí
- Ano, velikost modelu určuje směr každé metriky
- Ne; nižší ztráta obvykle znamená zlepšení, takže na metrickém směru záleží