Ilọsiwaju Ilọpo meji
Ilọgun ilọpo meji jẹ akiyesi iyalẹnu pe bi awoṣe ti n pọ si, aṣiṣe idanwo akọkọ yoo buru si nitosi “ilẹ interpolation” ṣugbọn lẹhinna tun dara si lẹẹkansi - ni ilodi si iṣowo iwe kika Ayebaye.
Akopọ
It matters because it helps explain why enormous, overparameterized neural networks generalize well instead of overfitting.
Jin Dive
Awọn iṣiro kilasika kọ ẹkọ ti ọna U-sókè: bi idiju awoṣe ṣe dide, aṣiṣe idanwo ṣubu, isalẹ jade, lẹhinna dide bi awoṣe ṣe bori. Ilọkuro ilọpo meji, ti o gbajumọ nipasẹ Belkin, Hsu, Ma, ati Mandal ni ọdun 2019 ti o ṣe iwadi ni iwọn nipasẹ OpenAI, fihan pe ohun ti tẹ naa ni iran-iran keji. Aṣiṣe idanwo awọn tente oke ọtun ni ẹnu-ọna interpolation — aaye nibiti awoṣe naa ni awọn aye ti o to lati baamu gbogbo aaye ikẹkọ ni deede (aṣiṣe ikẹkọ odo). Titari kọja iyẹn sinu ijọba ti o pọ ju ati aṣiṣe idanwo ṣubu lẹẹkansi, nigbagbogbo ni isalẹ aaye adun kilasika. Ipa kanna naa han kọja iwọn awoṣe, akoko ikẹkọ ('epoch-wise' iran ilopo), ati iwọn dataset. O ṣe atunṣe iberu atijọ pe 'awọn paramita diẹ sii nigbagbogbo tumọ si apọju.'
Imọ-imọ-ẹrọ
Ni ẹnu-ọna interpolation nibẹ ni pataki ojutu kan ti o baamu deede data naa, ati pe o fi agbara mu lati jẹ jagged ati iwuwasi giga, nitorinaa o ṣe gbogbogbo ko dara. Ninu ilana ijọba ti o pọ ju, ailopin ọpọlọpọ awọn ojutu aṣiṣe-aṣiṣe wa, ati irẹwẹsi isọkalẹ ti iṣojuuwọn ti o darí si ọna didan julọ, iwuwasi ti o kere julọ. Iyanfẹ yẹn fun awọn interpolators eka-kekere - kii ṣe kika paramita funrararẹ - jẹ ohun ti o nfa iran-iran keji si aṣiṣe idanwo kekere.
Ipa Ilana
Awọn ipinnu diẹ sii
O ṣe iranlọwọ fun ọ lati ya sọtọ awọn iṣeduro imọ-ẹrọ lati ede tita.
Iye owo ati isuna
O le beere awọn ibeere imuse to dara julọ ṣaaju lilo owo tabi akoko.
Ẹgbẹ ati ṣiṣan iṣẹ
Awọn ẹgbẹ pẹlu oye pinpin ṣe ọja to dara julọ, eto imulo, ati awọn ipinnu ikẹkọ.
Ojo iwaju ti Ilọsiwaju Ilọpo meji
Awọn oniwadi nlo ilọpo meji lati ṣatunṣe awọn ofin igbelowọn ati yan igba lati da ikẹkọ duro, niwọn igba ti 'irin gun, buru si, lẹhinna dara julọ' ni awọn idiyele idiyele gidi. Reti ilana wiwọ ti o so pọ si isọdi deede, ekuro tangent nkankikan, ati grokking. Ni iṣe, ẹkọ naa - tobi ati gun le ṣe iranlọwọ ti o kọja agbegbe eewu - tẹlẹ ṣe atilẹyin awọn ipinnu lati ṣe ikẹkọ awọn awoṣe ipilẹ ti o tobi ju lailai ju awọn iwọn farabalẹ lọ.
Real-World imuse
Ti n ṣalaye idi ti awoṣe ede paramita 175-biliọnu kan ṣe akopọ dara julọ ju ọkan ti o farabalẹ aifwy aarin-iwọn laibikita agbara pupọ julọ
Yiyan lati ṣe ikẹkọ ti o kọja aaye nibiti pipadanu afọwọsi yoo buru si fun igba diẹ, nitori iran ilopo ọgbọn ọgbọn-ọlọgbọn sọ asọtẹlẹ imularada nigbamii
Ṣiṣayẹwo awoṣe iran ti deede rẹ bọ ni deede nigbati kika paramita baamu iwọn ikẹkọ ti o ṣeto, lẹhinna ṣe itọsọna jinlẹ si iwọn apọju.
Fifun awọn ipinnu iwọn awoṣe ni AutoML nitorinaa awọn oṣiṣẹ yago fun agbegbe ala-ilẹ interpolation ẹlẹgẹ
Awọn ewu & Awọn ọna iṣọ
Awọn ẹgbẹ oriṣiriṣi le lo ọrọ kanna ni oriṣiriṣi, nitorinaa ṣalaye iwọn ni kutukutu.
Awọn aṣepari le wo lagbara lakoko ti iṣẹ-aye gidi ko ṣe deede.
Aibikita didara data ati awọn ero igbelewọn nigbagbogbo ṣẹda awọn abajade ẹlẹgẹ.
Ilana Ilana imuse
Bẹrẹ pẹlu itumọ-ede itele ti abajade ti o nilo.
Mu metiriki aṣeyọri kan ati ipo ikuna kan ṣaaju idanwo.
Ṣiṣe awakọ kekere kan pẹlu data aṣoju, kii ṣe eto demo didan.
Iwe-ipamọ nibiti Ilọsiwaju Ilọsiwaju Meji ṣe iranlọwọ ati nibiti awọn ọna ti o rọrun ti dara julọ.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Double Descent Phenomenon quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Isọkalẹ Ilọsiwaju
Awọn ibeere ti a beere nigbagbogbo
What is Double Descent Phenomenon?
Ilọgun ilọpo meji jẹ akiyesi iyalẹnu pe bi awoṣe ti n pọ si, aṣiṣe idanwo akọkọ yoo buru si nitosi “ilẹ interpolation” ṣugbọn lẹhinna tun dara si lẹẹkansi - ni ilodi si iṣowo iwe kika Ayebaye. O ṣe pataki nitori pe o ṣe iranlọwọ lati ṣalaye idi ti o tobi pupọ, awọn nẹtiwọọki nkankikan ti o pọ ju ni apapọ daradara dipo fifin.
Nibo ni aṣiṣe idanwo ṣe deede tente oke ni ilọ-isalẹ ilọpo meji?
Iwasoke aṣiṣe waye ni ẹnu-ọna interpolation, nibiti awoṣe naa ti ni agbara to lati wakọ aṣiṣe ikẹkọ si odo pẹlu pataki ojutu lile kan.
Kini yoo ṣẹlẹ lati ṣe idanwo aṣiṣe bi awoṣe ṣe di iwọn apọju pupọ?
Ni awọn overparameterized ijọba igbeyewo aṣiṣe sọkalẹ a keji akoko, eyi ti o jẹ awọn asọye ẹya-ara ti yoo fun ė ayalu awọn oniwe-orukọ.
Kini idi ti isosile gradient ṣe iranlọwọ ninu ijọba ti o pọ ju?
Pẹlu ọpọlọpọ awọn ojutu aṣiṣe-odo ti o wa, ojuṣaaju t’okan ti o wa ni isale gradient dari si ọna didan julọ, iwuwasi ti o kere julọ, eyiti o ṣe gbogbogbo dara julọ.
'Epoch-wise' ilọpo ilọpo meji n tọka si ipa ti o farahan bi iṣẹ ti kini?
Ilọgun ilọpo meji le waye ni akoko akoko ikẹkọ: aṣiṣe idanwo le buru si lẹhinna ilọsiwaju bi ikẹkọ tẹsiwaju fun awọn akoko diẹ sii.
Eyi ti kilasika agutan ni ilopo ayalu ipenija?
O tako iwe kika U-sókè ti tẹ ti o wi diẹ complexity ti o ti kọja a ojuami nigbagbogbo mu igbeyewo aṣiṣe nipasẹ overfitting.