DalšíDalší průvodce
Medicínské velké jazykové modely
Jazyk AI
Jazyk AI GUIDE
Inverzní škálování nastává, když se výkon na definovaném úkolu zhoršuje s rostoucí velikostí modelu nebo rozsahu tréninku v testovaném rozmezí.
Poslechněte si tento návodAI-vyprávěný · ~3 min
Může koexistovat s lepší průměrnou ztrátou modelu jazyka nebo silnějšími výsledky jinde. Porozumění výsledku vyžaduje zkontrolovat sérii modelů, prompt, pravidlo hodnocení a úkol spíše než dospět k závěru, že větší modely jsou vždy horší.
Scaling often improves average predictive performance, but an average does not describe every behavior. Inverse scaling names a negative relationship between scale and a particular task score over an observed range. State what is increasing: parameter count, training compute, or another specified scale measure. Also state whether a higher or lower score means better performance. A declining loss, for example, normally indicates improvement rather than inverse scaling. The Inverse Scaling Prize collected tasks designed to reveal this pattern. The resulting research analyzed potential causes such as favoring memorized continuations over current instructions, imitating undesirable training patterns, solving an easier distractor instead of the intended task, or overgeneralizing from misleading demonstrations. These are proposed explanations for observed task behavior, not a single mechanism that explains every failure. Imagine comparable models scoring 80%, 70%, and 60% accuracy on the same fixed task. That is an inverse trend over the measured sizes. If a still-larger model then reaches 85%, the extended series has a reversal resembling a U-shaped pattern. The original decline was real within its range, but it did not justify predicting continued decline. The cited research reports that trends can reverse and vary across model families and prompting conditions. For a useful evaluation, preserve the prompt, answer format, scoring code, and model identifiers. Check enough examples to distinguish a systematic failure from a handful of chance errors. Compare model series carefully because changing the training objective or data alongside size complicates attribution. Inspect representative mistakes, repeat with justified prompt variations, and report all tested sizes. Use the result to identify a concrete weakness, then test a proposed mitigation without assuming it generalizes to unrelated tasks.
V konstruovaném hodnocení tři postupně větší modely ze srovnatelné řady dosáhnou na jednom úkolu 80 %, 70 % a 60 %. Tento úkol vykazuje inverzní trend napříč těmito velikostmi; čísla neříkají nic o žádném jiném úkolu.
Prompt mění zakončení známé fráze a žádá model, aby použil poskytnutou verzi. Hodnotitel kontroluje, zda model tuto instrukci dodrží, nebo se vrátí k známému dokončení.
Benchmark obsahuje obtížný zamýšlený úkol a snadnější rušivý vzor. Tým zkoumá chyby, aby zjistil, zda silnější rozpoznávání vzorů slouží nesprávnému cíli.
Čtvrtý, větší model dosahuje 85 % po předchozím poklesu. Evaluátor hlásí reverzi namísto nekonečného rozšiřování předchozího klesajícího trendu.
Jak se mění rodiny modelů a tréninkové metody, měly by se hodnocení znovu zaměřit na konkrétní vzorce selhání místo předpokladu, že stará škálovací křivka stále platí. Větší sady hodnocení mohou kombinovat široké měření schopností s cílenými úkoly, kde jsou důležité zavádějící nápovědy, zapamatovaný text nebo konflikty v instrukcích. Výzkumníci by měli zveřejnit výzvy, metody hodnocení, testované rozsahy a nejistotu, aby ostatní mohli ověřit, co výsledek skutečně podporuje. Užitečným výsledkem je jasnější popis toho, kde model selhává a zda testovaný zásah pomáhá, nikoli univerzální verdikt o velikosti modelu.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Inverzní škálování nastává, když se výkon na definovaném úkolu zhoršuje s rostoucí velikostí modelu nebo tréninkového měřítka v testovaném rozsahu. Může koexistovat s lepší průměrnou ztrátou jazykového modelu nebo silnějšími výsledky jinde. Porozumění výsledku vyžaduje kontrolu řady modelů, výzvy, pravidla hodnocení a úkolu, místo aby se usoudilo, že větší modely jsou vždy horší.
Příklad podporuje pozorovaný trend specifický pro daný úkol, nikoli univerzální nebo neomezenou extrapolaci.
Průvodce rozlišuje predikci známých pokračování od chování vyžadovaného konkrétní instrukcí.
Průvodce používá tento vytvořený scénář k ilustraci spoléhání se na známé pokračování navzdory změněným pokynům.
Průvodce vysvětluje, že škálovací trendy se mohou obrátit; rozšíření rozsahu může odhalit vzor ve tvaru písmene U.
Průvodce říká, že rozdíly v modelové řadě a tréninku komplikují kauzální přisouzení samotné velikosti.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Medicínské velké jazykové modely
Jazyk AI