Akopọ
Grokking jẹ iṣẹlẹ iyalẹnu nibiti nẹtiwọọki nkankikan kan ti kọkọ ṣe iranti data ikẹkọ rẹ, joko ni deede afọwọsi odo fun igba pipẹ, ati lẹhinna ṣajọpọ lojiji ni pipẹ lẹhin deede ikẹkọ lu 100%. O dojuiwọn intuition ti ẹkọ ati gbogbogbo ṣẹlẹ papọ.
Grokking ati Idaduro Gbogbogbo joko ni mojuto AI irinṣẹ. Nigbati o ba loye rẹ, awọn akọle AI miiran di rọrun lati ṣe iṣiro ati afiwe.
Jin Dive
Ti ṣe awari nipasẹ awọn oniwadi OpenAI ni ọdun 2021 lori awọn iṣẹ ṣiṣe algorithmic kekere bi iṣiro apọjuwọn, grokking ṣe afihan ọna didan oni-meji. Ni kutukutu, awoṣe baamu eto ikẹkọ ni pipe lakoko ti iṣẹ afọwọsi duro ni aye, ti n wo aibikita aibikita. Lẹhinna, lẹhin ẹgbẹẹgbẹrun tabi paapaa awọn miliọnu awọn igbesẹ afikun ti ko si ilọsiwaju ti o han gbangba, iṣedede afọwọsi ni airotẹlẹ fo si pipe. Awọn asiwaju alaye ni wipe àdánù ibajẹ (regularization) laiyara titẹ awọn nẹtiwọki lati fi kọ brittle kan ojutu ki o si iwari a iwapọ, eleto ọkan ti o ni kosi mu awọn amuye ofin, fun apẹẹrẹ nsoju modular afikun bi awọn iyipo lori kan Circle. Grokking jẹ julọ han lori kekere sintetiki datasets, ṣugbọn agbọye o tan imọlẹ lori jinle isiseero ti nigbati ati idi ti gbogboogbo farahan.
Imọ-imọ-ẹrọ
Mechanistic-ẹrọ yiyipada-ẹrọ grokked nẹtiwọki ati ki o ri ti won se mọ aligoridimu, gẹgẹ bi awọn lilo Fourier-bi ipin ifibọ fun a ṣe apọjuwọn isiro nipasẹ trigonometric idamo. Iyipada naa ni ibamu pẹlu awọn iwuwo nẹtiwọọki di sparser ati iwuwasi-kekere labẹ isọdọtun: iranti nilo titobi nla, awọn iwuwo alaibamu, lakoko ti iyika gbogbogbo jẹ rọrun. Grokking nitorinaa ṣe afihan idije kan laarin ojutu iranti ti o yara-lati-wa ati ọna ti o lọra-si-fọọmu, ṣiṣe gbogbogbo ti o munadoko diẹ sii.
Mastering Grokking ati Idaduro Gbogbogbo
Grokking jẹ iṣẹlẹ iyalẹnu nibiti nẹtiwọọki nkankikan kan ti kọkọ ṣe iranti data ikẹkọ rẹ, joko ni deede afọwọsi odo fun igba pipẹ, ati lẹhinna ṣajọpọ lojiji ni pipẹ lẹhin deede ikẹkọ lu 100%. O dojuiwọn intuition ti ẹkọ ati gbogbogbo ṣẹlẹ papọ. Grokking ati Idaduro Gbogbogbo joko ni mojuto AI irinṣẹ. Nigbati o ba loye rẹ, awọn akọle AI miiran di rọrun lati ṣe iṣiro ati afiwe. Lati kọ oye ti o jinlẹ, tọju Grokking ati Idaduro Gbogbogbo bi awoṣe iṣẹ, kii ṣe ẹya ẹyọkan: ṣalaye awọn abajade ti o fẹ, ṣalaye awọn arosọ, ati ya sọtọ ohun ti eto le ṣe ni igbẹkẹle lati ohun ti o tun nilo idajọ amoye.
Ni iṣe, awọn ẹgbẹ ti o lagbara ni lilo Grokking ati Idaduro Apejọ kọ awọn awoṣe imọran to lagbara ni akọkọ, lẹhinna ṣe maapu awọn awoṣe wọnyẹn si awọn idiwọ iṣelọpọ gidi. Wọn ṣe akọsilẹ awọn ibeere aṣeyọri ti o fojuhan, idanwo lodi si data ojulowo ati ṣiṣan iṣẹ, ati atunbere ti o da lori awọn ilana ikuna ti a ṣakiyesi dipo awọn bori ala-akoko kan. Eyi ni ibiti oye imọ-jinlẹ yipada si agbara ti o tọ kọja ọja, eto imulo, ati awọn iṣẹ ṣiṣe.
O ṣe iranlọwọ fun ọ lati ya sọtọ awọn iṣeduro imọ-ẹrọ lati ede tita. Ni akoko kanna, Awọn ẹgbẹ oriṣiriṣi le lo ọrọ kanna ni oriṣiriṣi, nitorinaa ṣalaye iwọn ni kutukutu. Ọna resilient julọ julọ ni lati darapọ iyara idanwo pẹlu ibawi ijọba: ṣiṣe awọn awakọ awakọ, mu ẹri mu, ṣe atẹjade awọn iwe ipinnu, ati imudojuiwọn awọn aabo nigbagbogbo bi ihuwasi awoṣe, awọn ireti olumulo, ati awọn ibeere ilana ti dagbasoke.
Ipa Ilana
O ṣe iranlọwọ fun ọ lati ya sọtọ awọn iṣeduro imọ-ẹrọ lati ede tita.
O ṣe iranlọwọ fun ọ lati ya sọtọ awọn iṣeduro imọ-ẹrọ lati ede tita. Ni awọn imuṣiṣẹ ti o ni agbara giga, eyi ni a tumọ si awọn ofin iṣiṣẹ wiwọn, awọn aala nini, ati awọn ilana atunyẹwo loorekoore ki awọn ẹgbẹ le ṣe iwọn igbẹkẹle dipo iwọn aibikita.
O le beere awọn ibeere imuse to dara julọ ṣaaju lilo owo tabi akoko.
O le beere awọn ibeere imuse to dara julọ ṣaaju lilo owo tabi akoko. Ni awọn imuṣiṣẹ ti o ni agbara giga, eyi ni a tumọ si awọn ofin iṣiṣẹ wiwọn, awọn aala nini, ati awọn ilana atunyẹwo loorekoore ki awọn ẹgbẹ le ṣe iwọn igbẹkẹle dipo iwọn aibikita.
Awọn ẹgbẹ pẹlu oye pinpin ṣe ọja to dara julọ, eto imulo, ati awọn ipinnu ikẹkọ.
Awọn ẹgbẹ pẹlu oye pinpin ṣe ọja to dara julọ, eto imulo, ati awọn ipinnu ikẹkọ. Ni awọn imuṣiṣẹ ti o ni agbara giga, eyi ni a tumọ si awọn ofin iṣiṣẹ wiwọn, awọn aala nini, ati awọn ilana atunyẹwo loorekoore ki awọn ẹgbẹ le ṣe iwọn igbẹkẹle dipo iwọn aibikita.
Real-World imuse
Kikọ awọn iṣẹ ṣiṣe iṣiro modular lati yi pada-ẹrọ awọn iyika gangan ti nẹtiwọọki kan kọ ẹkọ
Ti n ṣe afihan bi ibajẹ iwuwo ṣe n ṣakoso iyipada lati iranti si isọpọ otitọ
Ifitonileti iwadii itumọ nipa fifun mimọ, awọn ihuwasi awoṣe ti o loye ni kikun lati ṣe itupalẹ
Ikilọ fun awọn oṣiṣẹ pe ni kutukutu afọwọsi Plateaus ko nigbagbogbo tumọ si awoṣe kan ti kuna lati kọ ẹkọ
Awọn Ilana imuse
Grokking ati Idaduro Gbogbogbo ni iṣe
Ṣiṣe ikẹkọ awọn iṣẹ ṣiṣe iṣiro modular lati yi pada-ẹrọ awọn iyika gangan ti nẹtiwọọki kan kọ.
Ikẹkọ awọn iṣẹ ṣiṣe iṣiro modular lati yiyipada-ẹrọ awọn iyika gangan ti nẹtiwọọki kan kọ ẹkọ Awọn ẹgbẹ nigbagbogbo gba awọn abajade to dara julọ nigbati wọn ṣalaye awọn ilodi didara ni iwaju, tọju ọna imudara eniyan fun awọn ọran eti, ati tọpa mejeeji awọn anfani iṣelọpọ ati awọn idiyele aṣiṣe lori akoko.
Grokking ati Idaduro Gbogbogbo ni iṣe
Ti n ṣe afihan bi ibajẹ iwuwo ṣe n ṣakoso iyipada lati iranti si isọpọ otitọ.
Ṣe afihan bi ibajẹ iwuwo ṣe n ṣe iyipada lati iranti si isọdọkan otitọ Awọn ẹgbẹ nigbagbogbo gba awọn abajade to dara julọ nigbati wọn ṣalaye awọn ilodi didara ni iwaju, tọju ọna imudara eniyan fun awọn ọran eti, ati tọpa awọn anfani iṣelọpọ mejeeji ati awọn idiyele aṣiṣe lori akoko.
Grokking ati Idaduro Gbogbogbo ni iṣe
Ifitonileti iwadii itumọ nipa fifun mimọ, awọn ihuwasi awoṣe ti o loye ni kikun lati ṣe itupalẹ.
Ifitonileti iwadii asọye nipa fifun mimọ, awọn ihuwasi awoṣe ti o loye ni kikun lati ṣe itupalẹ Awọn ẹgbẹ nigbagbogbo gba awọn abajade to dara julọ nigbati wọn ṣalaye awọn ilodi didara ni iwaju, tọju ọna imudara eniyan fun awọn ọran eti, ati tọpa awọn anfani iṣelọpọ mejeeji ati awọn idiyele aṣiṣe lori akoko.
Grokking ati Idaduro Gbogbogbo ni iṣe
Ikilọ fun awọn oṣiṣẹ pe ni kutukutu afọwọsi Plateaus ko nigbagbogbo tumọ si awoṣe kan ti kuna lati kọ ẹkọ.
Ikilọ fun awọn oṣiṣẹ adaṣe pe Plateaus afọwọsi ni kutukutu ko tumọ si awoṣe kan ti kuna lati kọ ẹkọ Awọn ẹgbẹ nigbagbogbo gba awọn abajade to dara julọ nigbati wọn ṣalaye awọn ilodi didara ni iwaju, tọju ọna igbega eniyan fun awọn ọran eti, ati tọpa mejeeji awọn anfani iṣelọpọ ati awọn idiyele aṣiṣe lori akoko.
Awọn ewu & Awọn ọna iṣọ
Awọn ẹgbẹ oriṣiriṣi le lo ọrọ kanna ni oriṣiriṣi, nitorinaa ṣalaye iwọn ni kutukutu.
Awọn aṣepari le wo lagbara lakoko ti iṣẹ-aye gidi ko ṣe deede.
Aibikita didara data ati awọn ero igbelewọn nigbagbogbo ṣẹda awọn abajade ẹlẹgẹ.
Ilana Ilana imuse
Bẹrẹ pẹlu itumọ-ede itele ti abajade ti o nilo.
Bẹrẹ pẹlu itumọ-ede itele ti abajade ti o nilo. Ṣe itọju igbesẹ kọọkan bi ẹnu-ọna ẹri: ti awọn ibeere ko ba ni ibamu, daduro yiyọ kuro, pa aafo naa, ati lẹhinna faagun lilo.
Mu metiriki aṣeyọri kan ati ipo ikuna kan ṣaaju idanwo.
Mu metiriki aṣeyọri kan ati ipo ikuna kan ṣaaju idanwo. Ṣe itọju igbesẹ kọọkan bi ẹnu-ọna ẹri: ti awọn ibeere ko ba ni ibamu, daduro yiyọ kuro, pa aafo naa, ati lẹhinna faagun lilo.
Ṣiṣe awakọ kekere kan pẹlu data aṣoju, kii ṣe eto demo didan.
Ṣiṣe awakọ kekere kan pẹlu data aṣoju, kii ṣe eto demo didan. Ṣe itọju igbesẹ kọọkan bi ẹnu-ọna ẹri: ti awọn ibeere ko ba ni ibamu, daduro yiyọ kuro, pa aafo naa, ati lẹhinna faagun lilo.
Iwe-ipamọ nibiti Grokking ati Idaduro Gbogbogbo ṣe iranlọwọ ati nibiti awọn ọna ti o rọrun dara julọ.
Iwe-ipamọ nibiti Grokking ati Idaduro Gbogbogbo ṣe iranlọwọ ati nibiti awọn ọna ti o rọrun dara julọ. Ṣe itọju igbesẹ kọọkan bi ẹnu-ọna ẹri: ti awọn ibeere ko ba ni ibamu, daduro yiyọ kuro, pa aafo naa, ati lẹhinna faagun lilo.