Grokking ati Idaduro Gbogbogbo
Grokking jẹ iṣẹlẹ iyalẹnu nibiti nẹtiwọọki nkankikan kan ti kọkọ ṣe iranti data ikẹkọ rẹ, joko ni deede afọwọsi odo fun igba pipẹ, ati lẹhinna ṣajọpọ lojiji ni pipẹ lẹhin deede ikẹkọ lu 100%.
Akopọ
O ṣe afihan intuition pe ẹkọ ati generalization ṣẹlẹ papọ.
Jin Dive
Ti ṣe awari nipasẹ awọn oniwadi OpenAI ni ọdun 2021 lori awọn iṣẹ ṣiṣe algorithmic kekere bi iṣiro apọjuwọn, grokking ṣe afihan ọna didan oni-meji. Ni kutukutu, awoṣe baamu eto ikẹkọ ni pipe lakoko ti iṣẹ afọwọsi duro ni aye, ti n wo aibikita aibikita. Lẹhinna, lẹhin ẹgbẹẹgbẹrun tabi paapaa awọn miliọnu awọn igbesẹ afikun ti ko si ilọsiwaju ti o han gbangba, iṣedede afọwọsi ni airotẹlẹ fo si pipe. Awọn asiwaju alaye ni wipe àdánù ibajẹ (regularization) laiyara titẹ awọn nẹtiwọki lati fi kọ brittle kan ojutu ki o si iwari a iwapọ, eleto ọkan ti o ni kosi mu awọn amuye ofin, fun apẹẹrẹ nsoju modular afikun bi awọn iyipo lori kan Circle. Grokking jẹ julọ han lori kekere sintetiki datasets, ṣugbọn agbọye o tan imọlẹ lori jinle isiseero ti nigbati ati idi ti gbogboogbo farahan.
Imọ-imọ-ẹrọ
Mechanistic-ẹrọ yiyipada-ẹrọ grokked nẹtiwọki ati ki o ri ti won se mọ aligoridimu, gẹgẹ bi awọn lilo Fourier-bi ipin ifibọ fun a ṣe apọjuwọn isiro nipasẹ trigonometric idamo. Iyipada naa ni ibamu pẹlu awọn iwuwo nẹtiwọọki di sparser ati iwuwasi-kekere labẹ isọdọtun: iranti nilo titobi nla, awọn iwuwo alaibamu, lakoko ti iyika gbogbogbo jẹ rọrun. Grokking nitorinaa ṣe afihan idije kan laarin ojutu iranti ti o yara-lati-wa ati ọna ti o lọra-si-fọọmu, ṣiṣe gbogbogbo ti o munadoko diẹ sii.
Ipa Ilana
Awọn ipinnu diẹ sii
O ṣe iranlọwọ fun ọ lati ya sọtọ awọn iṣeduro imọ-ẹrọ lati ede tita.
Iye owo ati isuna
O le beere awọn ibeere imuse to dara julọ ṣaaju lilo owo tabi akoko.
Ẹgbẹ ati ṣiṣan iṣẹ
Awọn ẹgbẹ pẹlu oye pinpin ṣe ọja to dara julọ, eto imulo, ati awọn ipinnu ikẹkọ.
Ojo iwaju ti Grokking ati Idaduro Gbogbogbo
Grokking jẹ window kan sinu imọ-jinlẹ ti gbogbogbo ti awọn oniwadi nireti lati ṣe iwọn. Awọn ibeere ṣiṣi pẹlu boya gbogbogbo idaduro n ṣẹlẹ ni idakẹjẹ laarin awọn awoṣe nla, bii o ṣe le rii tabi mu itesiwaju iyipada naa, ati ohun ti o tumọ si fun mimọ nigbati awoṣe kan ti kọ ẹkọ nitootọ pẹlu awọn apẹẹrẹ ti akoda. Awọn oye le sọ fun isọdọtun to dara julọ, awọn iṣeto ikẹkọ, ati awọn irinṣẹ itumọ, ati pe o le ṣe iranlọwọ asọtẹlẹ awọn agbara pajawiri ni awọn awoṣe ede nla.
Real-World imuse
Kikọ awọn iṣẹ ṣiṣe iṣiro modular lati yi pada-ẹrọ awọn iyika gangan ti nẹtiwọọki kan kọ ẹkọ
Ti n ṣe afihan bi ibajẹ iwuwo ṣe n ṣakoso iyipada lati iranti si isọpọ otitọ
Ifitonileti iwadii itumọ nipa fifun mimọ, awọn ihuwasi awoṣe ti o loye ni kikun lati ṣe itupalẹ
Ikilọ fun awọn oṣiṣẹ pe ni kutukutu afọwọsi Plateaus ko nigbagbogbo tumọ si awoṣe kan ti kuna lati kọ ẹkọ
Awọn ewu & Awọn ọna iṣọ
Awọn ẹgbẹ oriṣiriṣi le lo ọrọ kanna ni oriṣiriṣi, nitorinaa ṣalaye iwọn ni kutukutu.
Awọn aṣepari le wo lagbara lakoko ti iṣẹ-aye gidi ko ṣe deede.
Aibikita didara data ati awọn ero igbelewọn nigbagbogbo ṣẹda awọn abajade ẹlẹgẹ.
Ilana Ilana imuse
Bẹrẹ pẹlu itumọ-ede itele ti abajade ti o nilo.
Mu metiriki aṣeyọri kan ati ipo ikuna kan ṣaaju idanwo.
Ṣiṣe awakọ kekere kan pẹlu data aṣoju, kii ṣe eto demo didan.
Iwe-ipamọ nibiti Grokking ati Idaduro Gbogbogbo ṣe iranlọwọ ati nibiti awọn ọna ti o rọrun dara julọ.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Grokking and Delayed Generalization quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Iṣatunṣe
Awọn ibeere ti a beere nigbagbogbo
Kini Grokking ati Idaduro Generalization?
Grokking jẹ iṣẹlẹ iyalẹnu nibiti nẹtiwọọki nkankikan kan ti kọkọ ṣe iranti data ikẹkọ rẹ, joko ni deede afọwọsi odo fun igba pipẹ, ati lẹhinna ṣajọpọ lojiji ni pipẹ lẹhin deede ikẹkọ lu 100%. O dojuiwọn intuition ti ẹkọ ati gbogbogbo ṣẹlẹ papọ.
Kini asọye grokking ni ikẹkọ nẹtiwọọki nkankikan?
Grokking jẹ fifo lojiji si iṣẹ afọwọsi to dara ti o ṣẹlẹ daradara lẹhin deede ikẹkọ ti wa ni 100%.
Lori ohun ti Iru awọn iṣẹ-ṣiṣe ti a grokking akọkọ iṣafihan woye?
OpenAI awọn oniwadi royin grokking ni ọdun 2021 lori awọn iṣoro algoridimu sintetiki kekere gẹgẹbi afikun apọjuwọn.
Ohun ti ifosiwewe ti wa ni julọ igba ka pẹlu iwakọ awọn orilede si gbogboogbo ni grokking?
Ibajẹ iwuwo diẹdiẹ titari nẹtiwọọki kuro lati ojuutu ti o ni iranti si ọna iwapọ, iyika gbogbogbo.
Nigba ti oluwadi ẹnjinia-ẹrọ a grokked nẹtiwọki on apọjuwọn isiro, ohun ti won ri?
Itumọ ẹrọ ṣe afihan nẹtiwọọki kọ trigonometric, awọn aṣoju ipin lati ṣe iṣiro iṣiro apọjuwọn.
Kini idi ti grokking ṣe apejuwe bi idije laarin awọn ojutu meji?
Awọn nẹtiwọọki yarayara wa ojutu iranti kan ṣugbọn, labẹ isọdọtun, nikẹhin ṣe apejọpọ si iyika gbogbogbo ti o rọrun.