VolgendeVolgende gids
De afweging tussen verklaarbaarheid en nauwkeurigheid
Grondbeginselen
Basisprincipes GIDS
De afweging tussen bias en variantie verklaart waarom een model kan mislukken omdat het te simpel of te complex is.
Luister naar deze gidsAI-verteld · ~2 min
Het is de centrale spanning achter onderaanpassing versus overaanpassing, en als u dit goed doet, bepaalt u of uw model generaliseert naar nieuwe gegevens.
Elke voorspellingsfout die een model maakt, kan in drie delen worden opgesplitst: bias, variantie en onherleidbare ruis. Vooringenomenheid is een fout die voortkomt uit verkeerde aannames – een model dat te simpel is om het echte patroon weer te geven, zoals het passen van een rechte lijn aan een curve (underfitting). Variantie is een fout die voortvloeit uit de gevoeligheid voor het specifieke trainingsvoorbeeld – een model dat zo flexibel is dat het eigenaardigheden en ruis onthoudt (overfitting). De valkuil is dat het verlagen van de ene de neiging heeft om de andere te verhogen. Een polynoom van hoge graad vermindert de vooringenomenheid, maar de voorspellingen ervan variëren enorm bij elke nieuwe dataset. Het doel is niet om beide fouten te elimineren, maar om de goede plek te vinden waar hun som (de totale verwachte fout op onzichtbare gegevens) het kleinst is.
De diepte van een beslissingsboom kiezen: een ondiepe boom past niet (hoge bias), een zeer diepe boom onthoudt trainingsrijen (hoge variantie), dus je kunt de diepte afstemmen via een validatiefout.
Het instellen van de regularisatiesterkte (lambda) in ridge- of lasso-regressie om een kleine toename van de bias in te ruilen voor een grote afname van de variantie en een betere testnauwkeurigheid.
Het gebruik van willekeurige bossen, die het gemiddelde vormen van veel gedecorreleerde bomen met een hoge variantie, om de algehele variantie te verminderen zonder de vertekening veel op te blazen.
Het kiezen van het aantal buren k in k-NN: k=1 heeft een hoge variantie en volgt ruis, terwijl een zeer grote k te veel verzacht en bias toevoegt.
Diep leren heeft het klassieke verhaal gecompliceerd. Onderzoekers hebben 'dubbele afdaling' waargenomen, waarbij de testfout eerst stijgt en vervolgens weer daalt naarmate massaal overgeparametriseerde netwerken voorbij de interpolatiedrempel groeien - schijnbaar de U-curve trotserend. Begrijpen waarom enorme modellen generaliseren ondanks een trainingsfout van bijna nul is een actief onderzoeksgebied, gekoppeld aan impliciete regularisatie door optimizers zoals SGD. Beoefenaars vertrouwen steeds meer op empirische afstemming, schaalwetten en validatiecurven in plaats van alleen op de afwegingen uit het leerboek.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
De afweging tussen bias en variantie verklaart waarom een model kan mislukken omdat het te simpel of te complex is. Het is de centrale spanning achter onderaanpassing versus overaanpassing, en als u dit goed doet, bepaalt u of uw model generaliseert naar nieuwe gegevens.
Een hoge variantie komt tot uiting in een grote kloof tussen uitstekende trainingsprestaties en slechte testprestaties; het model heeft de trainingsgegevens onthouden.
In the classic account, greater flexibility can reduce bias while increasing sensitivity to the sample. The guide also describes double descent, so this is not a universal monotonic law.
The supplied bias term is already squared. Add the three components: 2 + 3 + 1 = 6.
The guide describes averaging high-variance, de-correlated trees as a way to reduce ensemble variance.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
De afweging tussen verklaarbaarheid en nauwkeurigheid
Grondbeginselen