DalšíDalší průvodce
Medicínské velké jazykové modely
Jazyk AI
Jazyk AI GUIDE
Emergentní schopnosti jsou dovednosti, které se náhle objevují ve velkých jazykových modelech, jakmile projdou určitým měřítkem, i když menší modely po nich nevykazovaly žádné známky.
Poslechněte si tento návodAI-vyprávěný · ~2 min
They matter because they make capabilities hard to predict from small-scale experiments.
Wei a kolegové popularizovali v dokumentu z roku 2022, emergence odkazuje na úkoly, kde je výkon u menších modelů téměř náhodný a poté prudce vyskočí, jakmile model překročí prahovou hodnotu velikosti v parametrech, datech nebo výpočtech. Hlášené příklady zahrnovaly vícekrokovou aritmetiku, určitá měřítka uvažování a dodržování nových pokynů. Nápadná část byla diskontinuita: dovednost se postupně nezlepšovala, zdálo se, že chybí a pak je přítomná. Pokračování v roce 2023 od Schaeffera a kolegů tvrdilo, že určitý výskyt je částečně artefaktem měření, protože drsné metriky typu všechno nebo nic, jako je přesná shoda, zveličují náhlé skoky, které při měkčím hodnocení vypadají hladce. Debata změnila způsob, jakým výzkumníci hlásí výsledky škálování a vybírají metriky hodnocení.
Velké modely řešící vícekrokové slovní úlohy, na které menší verze odpovídaly na úrovni náhody.
Model, který se náhle řídí složitými, dosud neviděnými pokyny poté, co překročí práh měřítka.
Řetězec myšlenek podněcuje uvažování pouze tehdy, když modely dosáhnou dostatečné velikosti.
Výzkumníci znovu vykreslují „náhlý“ skok v benchmarku s částečným hodnocením kreditů a nalezením hladké křivky.
Výzkumníci nyní spárují škálovací studie s více metrikami, aby oddělili skutečné fázové změny od artefaktů, a zkoumají, které schopnosti skutečně dosáhnou pouze v měřítku. Pro bezpečnost je důležitá lepší předvídatelnost, protože nepředvídané schopnosti mohou zahrnovat i ty rizikové. Očekávejte více práce na škálovacích zákonech, které předem předpovídají schopnosti, a navíc pečlivý návrh benchmarků tak, aby proklamovaný „vznik“ odrážel chování modelu spíše než vtípek měření.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Emergentní schopnosti jsou dovednosti, které se náhle objevují ve velkých jazykových modelech, jakmile projdou určitým měřítkem, i když menší modely po nich nevykazovaly žádné známky. Jsou důležité, protože ztěžují možnosti předvídat z malých experimentů.
The cited work described apparently sharp capability changes for some tasks.
The follow-up argues nonlinear or discontinuous metrics can create apparent abrupt jumps.
The study explains that all-or-nothing metrics can exaggerate a discontinuity.
The paper reports metric changes can reveal smoother performance trends.
The research debate emphasizes metric choice and better statistics.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Medicínské velké jazykové modely
Jazyk AI