Lotiri tiketi ilewq
Idiyele Tiketi Lotiri sọ pe inu nla kan, nẹtiwọọki nkankikan ti ipilẹṣẹ laileto tọju abẹlẹ kekere kan - 'tiketi ti o bori' kan - pe, ikẹkọ nikan lati awọn iwuwo ibẹrẹ kanna, le baamu deede nẹtiwọọki kikun.
Akopọ
It matters because it suggests we are training far more parameters than we actually need.
Jin Dive
Ti a dabaa nipasẹ Jonathan Frankle ati Michael Carbin ni MIT ni ọdun 2018, arosọ naa dagba lati inu iwadii gige. Ni deede o le gige nẹtiwọọki oṣiṣẹ kan si isalẹ 10-20% ti awọn iwuwo rẹ laisi sisọnu deede, ṣugbọn ikẹkọ nẹtiwọọki kekere lati ibere kuna. Frankle ati Carbin rii ẹtan naa: tọju awọn asopọ iwalaaye 'awọn iwuwo ibẹrẹ akọkọ. Nẹtiwọọki kekere ti o ṣoki - tikẹti ti o bori - lẹhinna ṣe ikẹkọ si deede ni kikun ni ipinya, nigbakan yiyara ju atilẹba ipon lọ. Wọn ṣe idanimọ awọn tikẹti nipasẹ 'pirẹ titobi aṣetunṣe': ọkọ oju irin, pirẹ awọn iwuwo iwọn-kere julọ, dapada iyokù si awọn iye akọkọ wọn, ati tun ṣe. Abajade naa tumọ si ipon overparameterization ni akọkọ ṣe iranlọwọ iṣapeye lati wa eto fọnka ti o dara, kii ṣe pe gbogbo awọn iwuwo wọnyẹn jẹ pataki ni ọkọọkan.
Imọ-imọ-ẹrọ
Ilana mojuto jẹ pruning bii aṣetunṣe pẹlu isọdọtun iwuwo: lẹhin ikẹkọ, yọkuro awọn iwọn iwuwo ti o kere julọ, tun awọn iwuwo ti o ku pada si ipilẹṣẹ atilẹba wọn (tabi ibi ayẹwo ikẹkọ ni kutukutu, isọdọtun ti a pe ni 'rewinding'), lẹhinna tun ṣe atunṣe. Apapo ti iboju-boju fọnka kan pato ATI ipilẹṣẹ ti o baamu jẹ ohun ti o jẹ ki tikẹti kan 'win' — laileto reinitializing iboju-boju kanna run ipa naa.
Ipa Ilana
Awọn ipinnu diẹ sii
O ṣe iranlọwọ fun ọ lati ya sọtọ awọn iṣeduro imọ-ẹrọ lati ede tita.
Iye owo ati isuna
O le beere awọn ibeere imuse to dara julọ ṣaaju lilo owo tabi akoko.
Ẹgbẹ ati ṣiṣan iṣẹ
Awọn ẹgbẹ pẹlu oye pinpin ṣe ọja to dara julọ, eto imulo, ati awọn ipinnu ikẹkọ.
Ojo iwaju ti lotiri tiketi ilewq
Awọn tiketi lotiri idana iwadi sinu ikẹkọ awọn nẹtiwọọki fọnka lati ibẹrẹ lati ṣafipamọ iṣiro ati agbara, ati sinu boya gbigbe awọn tikẹti kọja awọn iwe data ati awọn iṣẹ ṣiṣe. Pipin gige aṣetunṣe si awọn awoṣe paramita bilionu jẹ gbowolori, nitorinaa iṣẹ n tẹsiwaju lori wiwa awọn tikẹti ni olowo poku tabi fifihan pe wọn wa (ilero tikẹti lotiri 'lagbara' sọ pe awọn tikẹti wa ni ibẹrẹ laisi ikẹkọ rara). Reti tai-ins pẹlu awọn awoṣe ẹrọ daradara ati AI alawọ ewe.
Real-World imuse
Titari olupilẹṣẹ aworan nla si labẹ 20% ti awọn iwuwo rẹ fun imuṣiṣẹ lori foonu kan lakoko titọju deede
Iyara ikẹkọ nipasẹ idamo ati ikẹkọ nikan ni abẹlẹ ti o bori fọnka
Ikẹkọ gbigbe gbigbe iwuwo nipa lilo tikẹti kan ti a rii lori dataset kan lati fo-bẹrẹ ikẹkọ lori ọkan ti o jọmọ
Idinku agbara inference ati iranti ni awọn ẹrọ eti nipa gbigbe tikẹti ti o bori pruned dipo awoṣe ipon
Awọn ewu & Awọn ọna iṣọ
Awọn ẹgbẹ oriṣiriṣi le lo ọrọ kanna ni oriṣiriṣi, nitorinaa ṣalaye iwọn ni kutukutu.
Awọn aṣepari le wo lagbara lakoko ti iṣẹ-aye gidi ko ṣe deede.
Aibikita didara data ati awọn ero igbelewọn nigbagbogbo ṣẹda awọn abajade ẹlẹgẹ.
Ilana Ilana imuse
Bẹrẹ pẹlu itumọ-ede itele ti abajade ti o nilo.
Mu metiriki aṣeyọri kan ati ipo ikuna kan ṣaaju idanwo.
Ṣiṣe awakọ kekere kan pẹlu data aṣoju, kii ṣe eto demo didan.
Iwe-ipamọ nibiti Iṣeduro Tiketi Lotiri ṣe iranlọwọ ati nibiti awọn ọna ti o rọrun dara julọ.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Lottery Ticket Hypothesis quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Chinchilla Compute-Ti aipe Ikẹkọ
Awọn ibeere ti a beere nigbagbogbo
What is Lottery Ticket Hypothesis?
Idiyele Tiketi Lotiri sọ pe inu nla kan, nẹtiwọọki nkankikan ti ipilẹṣẹ laileto tọju abẹlẹ kekere kan - 'tiketi ti o bori' kan - pe, ikẹkọ nikan lati awọn iwuwo ibẹrẹ kanna, le baamu deede nẹtiwọọki kikun. O ṣe pataki nitori pe o daba pe a n ṣe ikẹkọ awọn aye diẹ sii ju ti a nilo gaan lọ.
Kini 'tiketi ti o bori' ninu arosọ yii?
Tiketi ti o bori jẹ nẹtiwọki kekere kan eyiti, nigba ikẹkọ ni ipinya lati awọn iwọn ibẹrẹ kanna, de deede ni afiwe si nẹtiwọọki ipon.
Kilode ti ikẹkọ abẹ-ọna asopọ ti a ti gige ṣe kuna deede ayafi ti o ba ṣe nkan pataki?
Imọye bọtini ni pe iboju ṣoki n ṣiṣẹ nikan nigbati a ba so pọ pẹlu ipilẹṣẹ atilẹba ti o baamu; ID reinitialization fi opin si.
Tani o dabaa arosọ Tikẹti Lotiri naa?
Jonathan Frankle ati Michael Carbin ṣafihan arosọ ni iwe 2018 MIT wọn.
Ilana wo ni a lo lati wa awọn tikẹti ti o bori?
Pirege titobi aṣetunṣe ṣe ikẹkọ leralera, yọkuro awọn iwuwo iwọn-kere, o si da iyoku pada si awọn iye akọkọ wọn.
Kini arosọ daba nipa awọn nẹtiwọọki apọju ti o tobi ju?
Wiwa naa tumọ si overparameterization ṣe iranlọwọ wiwa fun nẹtiwọọki fọnka fọnka ju gbogbo iwuwo jẹ pataki.