Maarifa kunereka
Uboreshaji wa maarifa hufunza kielelezo kidogo cha 'mwanafunzi' kuiga kielelezo kikubwa na sahihi cha 'mwalimu'.
Muhtasari
It matters because it shrinks powerful models so they run cheaply on phones and servers while keeping much of the accuracy.
Dive ya kina
Aina kubwa ni sahihi lakini polepole na ni ghali kusambaza. Mneno wa maarifa huhamisha uwezo wao hadi katika muundo wa kompakt kwa kumfanya mwanafunzi ajifunze kutoka kwa matokeo ya mwalimu badala ya kutoka kwa lebo ngumu pekee. Ufahamu muhimu, kutoka kwa Hinton na wenzake, ni kwamba usambazaji kamili wa uwezekano wa mwalimu hubeba 'maarifa meusi': hata inapotabiri 'mbwa', uwezekano wa jamaa wa 'mbwa mwitu' dhidi ya 'gari' hufichua jinsi mwalimu anavyoona kufanana. Kulainisha uwezekano huu kwa halijoto hufichua muundo huo, na mwanafunzi hufunzwa kuulinganisha, mara nyingi pamoja na lebo za kweli. Matokeo yake ni kielelezo kidogo, cha haraka zaidi ambacho kinajumlisha bora zaidi kuliko kilichofunzwa kwenye lebo pekee. DistilBERT na TinyBERT ni modeli za lugha zilizochemshwa zinazojulikana.
Ufahamu wa Kiufundi
Hasara ya kawaida inachanganya neno la kunereka (tofauti ya KL kati ya uwezekano wa mwanafunzi na mwalimu uliolainishwa) na mtambuka wa kawaida kwenye lebo za kweli. Kulainisha hutumia halijoto T katika softmax: T ya juu zaidi hutapa usambaaji ili ufanano mdogo kati ya tabaka uwe ishara zinazoweza kujifunzia; gradient ya kunereka kawaida hupimwa kwa T-mraba. Lahaja huenda zaidi ya matokeo: kunereka kulingana na vipengele hulingana na tabaka zilizofichwa za kati, na kunereka kulingana na uhusiano hulingana na uhusiano kati ya mifano.
Athari za kimkakati
Cost and budget
Maamuzi ya usanifu huendesha utendaji na gharama ya uendeshaji kwa miaka.
Maamuzi ya wazi zaidi
Elimu ya kiufundi husaidia timu kuchagua safu sahihi, sio tu mpya zaidi.
Quality control
Chaguo bora za uhandisi hupunguza matukio ya kuaminika katika uzalishaji.
Mustakabali wa Utiririshaji wa Maarifa
Unyunyuzishaji sasa ni hatua ya kawaida katika usafirishaji wa miundo bora na ni kitovu cha wimbi la kisasa la miundo midogo iliyo wazi yenye uwezo. Mwelekeo unaokua kwa kasi ni utiririshaji wa kiwango cha mfuatano kutoka kwa miundo mikubwa ya lugha, ambapo muundo dhabiti hutoa data ya mafunzo au ufuatiliaji wa hoja (ikiwa ni pamoja na msururu wa mawazo) ili kufundisha wanafunzi wadogo, kutia ukungu kwenye mstari kwa data sanisi. Tarajia kuoanisha kwa kasi zaidi na ujanibishaji na upogoaji, utumiaji zaidi kwenye kifaa, na mjadala unaoendelea kuhusu utoaji leseni na ubora wakati wa kutenganisha kutoka kwa miundo ya wamiliki ambayo matokeo yake huwa ishara ya mafunzo ya mshindani.
Utekelezaji wa Ulimwengu Halisi
DistilBERT inabana BERT hadi takriban vigezo vichache kwa 40% huku ikihifadhi uelewaji wake mwingi wa lugha kwa ufahamu wa haraka zaidi.
Inapunguza muundo mkubwa wa kuona ili kiainisha picha kiweze kufanya kazi kwa wakati halisi kwenye programu ya kamera ya simu mahiri.
Kutoa hoja za msururu wa mawazo ya modeli kubwa katika modeli ndogo ili kuifanya ijibu maswali ya hesabu au usimbaji kwa bei nafuu zaidi.
Kufinyiza mkusanyiko wa miundo kuwa mwanafunzi mmoja ili gharama za uzalishaji na muda wa kusubiri zipungue bila upotevu mwingi wa usahihi.
Hatari & Walinzi
Kuboresha kiwango kimoja kunaweza kuficha udhaifu mkubwa wa mfumo.
Gharama za miundombinu na matengenezo mara nyingi hupunguzwa.
Mapengo ya usalama na uonekanaji yanaweza kukua kadiri mifumo inavyozidi kuwa ngumu.
Ramani ya Utekelezaji
Bainisha muda, ubora na malengo ya gharama kabla ya utekelezaji.
Benchmark chini ya mzigo halisi na hali ya data.
Ufuatiliaji wa ala kwa makosa, kuteleza, na athari za mtumiaji.
Tayarisha njia za urejeshaji na majibu ya matukio kabla ya kuongeza ukubwa.
Endelea Kuchunguza
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Knowledge Distillation quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Mwongozo unaofuata
Usimamizi wa Maarifa ya AI
Maswali yanayoulizwa mara kwa mara
What is Knowledge Distillation?
Uboreshaji wa maarifa hufunza kielelezo kidogo cha 'mwanafunzi' kuiga kielelezo kikubwa na sahihi cha 'mwalimu'. Ni muhimu kwa sababu inapunguza miundo yenye nguvu kwa hivyo inaendeshwa kwa bei nafuu kwenye simu na seva huku ikihifadhi usahihi mwingi.
Ni nini lengo la kunereka kwa maarifa?
Unefishaji huhamisha uwezo wa mwalimu mkuu kuwa kielelezo cha mwanafunzi thabiti na cha haraka zaidi.
Nini maana ya 'maarifa ya giza' ya mwalimu?
Maarifa meusi ni muundo katika mgawanyo kamili wa uwezekano wa mwalimu, kama vile 'mbwa mwitu' ni sawa na 'mbwa', si tu jibu la juu.
Joto (T) lina jukumu gani katika kunereka?
Halijoto ya juu zaidi huongeza usambaaji wa uwezekano, na kufichua mfanano wa karibu ambao mwanafunzi anapaswa kujifunza.
Upotezaji wa kunereka wa kawaida unachanganya ni sehemu gani mbili?
Mwanafunzi analingana na usambazaji laini wa mwalimu (muhula wa KL) huku akiweka lebo za ukweli wa msingi (cross-entropy).
Ni mfano gani wa kielelezo cha lugha iliyochemshwa?
DistilBERT ni muundo unaojulikana sana uliotolewa kutoka kwa BERT, unaohifadhi utendaji mwingi na vigezo vichache zaidi.