Kvíz spojený s průvodcem · Střední úroveň

Inverzní škálování v kvízu o jazykových modelech

Interpretujte inverzní škálování pomocí skóre úkolů, ovládacích prvků modelové řady, zapamatovaných vzorců, rozptylovačů, nejistoty a možných zvratů trendů.

Otázka 1 z 8

Tři stále větší modely ve srovnatelné sérii dosahují 80 %, 70 % a 60 % ve stejném úkolu přesnosti. Co to ukazuje?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Tři stále větší modely ve srovnatelné sérii dosahují 80 %, 70 % a 60 % ve stejném úkolu přesnosti. Co to ukazuje?
    • Inverzní trend u tohoto úkolu oproti testovaným velikostem
    • Že každá schopnost klesá s velikostí modelu
    • Že všechny tři modely mají stejnou tréninkovou ztrátu
    • Že větší čtvrtý model musí mít skóre pod 60 %
  2. Proč může lepší průměrná ztráta dalšího tokenu koexistovat s horším výkonem v úloze po instrukci?
    • Dvě opatření hodnotí vždy stejný cíl
    • Předvídání známého textu a následování změněného pokynu může zvýhodnit různé výstupy
    • Nižší ztráta dalšího tokenu vždy znamená horší jazykové modelování
    • Přesnost úlohy je nezávislá na výstupu modelu
  3. Výzva dodává známé frázi neobvyklý konec, ale model používá známou koncovku. Který navrhovaný vzor selhání to ilustruje?
    • Zvýšení paměti akcelerátoru
    • Snížení velikosti slovní zásoby
    • Zapamatované pokračování má přednost před dodanou instrukcí
    • Zaručené zlepšení přesnosti úkolu
  4. Čtvrtý, větší model má skóre 85 % po sekvenci 80 %, 70 % a 60 %. Jak by to mělo hodnocení hlásit?
    • Zahoďte čtvrtý výsledek, abyste zachovali původní nárok
    • Prohlašte, že dřívější měření nikdy neproběhla
    • Předpokládejte, že všechny budoucí modely získají přesně 85 %
    • Nahlaste obrat a omezte dřívější inverzní požadavek na jeho naměřený rozsah
  5. Proč srovnávání nesouvisejících malých a velkých modelů komplikuje tvrzení, že velikost způsobila změnu skóre?
    • Tréninková data, cíle a další možnosti se také mohou lišit
    • Různé názvy modelů znemožňují hodnocení
    • Menší model musel vidět méně dat
    • Počty parametrů určují každou volbu tréninku
  6. Co může způsobit snadnější úloha rozptýlení při hodnocení s inverzním měřítkem?
    • Vyhodnocovací kód se musí zastavit
    • Model může být lepší v rušivém vzoru namísto zamýšleného úkolu
    • Všechny možnosti odpovědí jsou stejně správné
    • Skutečný úkol je automaticky vyřešen
  7. Které informace by měly být uchovány, aby mohl jiný tým zkontrolovat hodnocení?
    • Pouze skóre největšího modelu
    • Horší je pouze souhrn, který tvrdí, že je větší
    • Výzvy, formát odpovědí, bodovací kód, identifikátory modelu a testované velikosti
    • Pouze počet vygenerovaných tokenů
  8. Pokud ztráta modelu klesá s rostoucím měřítkem, lze tento pokles sám o sobě nazvat inverzním měřítkem?
    • Ano, každá sestupná křivka je inverzní škálování
    • Ano, nižší ztráta znamená podle definice méně správných předpovědí
    • Ano, velikost modelu určuje směr každé metriky
    • Ne; nižší ztráta obvykle znamená zlepšení, takže na metrickém směru záleží