DalšíDalší průvodce
Kompromis mezi vysvětlitelností a přesností
Základy
PRŮVODCE Základy
Kompromis odchylky a odchylky vysvětluje, proč model může selhat tím, že je příliš jednoduchý nebo příliš složitý.
Poslechněte si tento návodAI-vyprávěný · ~2 min
It's the central tension behind underfitting versus overfitting, and getting it right determines whether your model generalizes to new data.
Každou chybu predikce, kterou model udělá, lze rozdělit na tři části: zkreslení, rozptyl a neredukovatelný šum. Vychýlení je chyba ze špatných předpokladů – model příliš jednoduchý na to, aby zachytil skutečný vzor, jako je přizpůsobení přímky křivce (underfiting). Rozptyl je chyba z citlivosti na konkrétní tréninkový vzorek – model tak flexibilní, že si pamatuje vtípky a hluk (overfitting). Háček je v tom, že snížení jednoho má tendenci zvednout druhé. Vysokostupňový polynom snižuje zkreslení, ale jeho předpovědi se divoce mění s každým novým souborem dat. Cílem není odstranit ani jednu chybu, ale najít sladké místo, kde je jejich součet – celková očekávaná chyba na neviditelných datech – nejmenší.
Výběr hloubky rozhodovacího stromu: mělký strom nedosahuje (vysoké vychýlení), velmi hluboký strom si zapamatuje tréninkové řádky (vysoký rozptyl), takže hloubku ladíte pomocí chyby ověření.
Nastavení síly regularizace (lambda) v ridge nebo lasové regresi pro výměnu malého nárůstu zkreslení za velký pokles rozptylu a lepší přesnost testu.
Použití náhodných lesů, které mají v průměru mnoho dekorelovaných stromů s vysokým rozptylem ke snížení celkového rozptylu, aniž by došlo k velkému nafouknutí zkreslení.
Výběr počtu sousedů k v k-NN: k=1 má velký rozptyl a následuje šum, zatímco velmi velké k vyhladí a přidá zkreslení.
Hluboké učení zkomplikovalo klasický příběh. Výzkumníci pozorovali „dvojitý sestup“, kdy chyba testu nejprve roste, pak znovu klesá, když masivně nadparametrizované sítě překračují práh interpolace – zdánlivě vzdorující U-křivce. Pochopení toho, proč se obrovské modely zobecňují navzdory téměř nulovým chybám při trénování, je aktivní hranicí výzkumu, která je spojena s implicitní regularizací od optimalizátorů, jako je SGD. Praktici stále více spoléhají na empirické ladění, škálovací zákony a ověřovací křivky spíše než na samotný učebnicový kompromis.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Kompromis odchylky a odchylky vysvětluje, proč model může selhat tím, že je příliš jednoduchý nebo příliš složitý. Je to hlavní napětí mezi nedostatečnou a nadměrnou montáží a správné provedení určuje, zda se váš model zobecní na nová data.
Vysoká odchylka se projevuje jako velký rozdíl mezi vynikajícím tréninkovým výkonem a špatným výkonem testu – model si zapamatoval tréninková data.
In the classic account, greater flexibility can reduce bias while increasing sensitivity to the sample. The guide also describes double descent, so this is not a universal monotonic law.
The supplied bias term is already squared. Add the three components: 2 + 3 + 1 = 6.
The guide describes averaging high-variance, de-correlated trees as a way to reduce ensemble variance.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Kompromis mezi vysvětlitelností a přesností
Základy