Distillation imo
Distillation imo ṣe ikẹkọ awoṣe 'akeko' kekere kan lati ṣafarawe awoṣe 'olukọ' ti o tobi, deede.
Akopọ
O ṣe pataki nitori pe o dinku awọn awoṣe ti o lagbara nitorinaa wọn ṣiṣẹ ni olowo poku lori awọn foonu ati awọn olupin lakoko ti o tọju pupọ ti deede.
Jin Dive
Awọn awoṣe nla jẹ deede ṣugbọn o lọra ati gbowolori lati ran lọ. Distillation imo n gbe agbara wọn sinu awoṣe iwapọ nipa nini ki ọmọ ile-iwe kọ ẹkọ lati awọn abajade olukọ dipo kiki lati awọn akole lile nikan. Imọye bọtini, lati ọdọ Hinton ati awọn ẹlẹgbẹ, ni pe pinpin iṣeeṣe ti olukọ ni kikun gbejade 'imọ dudu': paapaa nigba ti o sọ asọtẹlẹ 'aja', awọn iṣeeṣe ibatan fun 'Ikooko' dipo 'ọkọ ayọkẹlẹ' ṣafihan bi olukọ ṣe rii awọn ibajọra. Rirọ awọn iṣeeṣe wọnyi pẹlu iwọn otutu ṣiṣafihan eto yẹn, ati pe ọmọ ile-iwe ni ikẹkọ lati baamu rẹ, nigbagbogbo lẹgbẹẹ awọn aami otitọ. Abajade jẹ awoṣe ti o kere, yiyara ti o ṣe akopọ dara julọ ju ọkan ti a kọ lori awọn aami nikan. DistilBERT ati TinyBERT jẹ awọn awoṣe ede distilled ti a mọ daradara.
Imọ-imọ-ẹrọ
Pipadanu Ayebaye daapọ ọrọ distillation kan (iyatọ KL laarin awọn iṣeeṣe rirọ ti ọmọ ile-iwe ati olukọ) pẹlu boṣewa agbelebu-entropy lori awọn aami otitọ. Rirọ ti nlo iwọn otutu T ni softmax: T ti o ga julọ pinpin pinpin nitorina awọn ibajọra laarin kilasi kekere di awọn ifihan agbara kọ ẹkọ; awọn distillation ite ni ojo melo ti iwọn nipa T-squared. Awọn iyatọ lọ kọja awọn abajade: distillation ti o da lori ẹya baamu awọn ipele agbedemeji ti o farapamọ, ati distillation ti o da lori ibatan ibaamu awọn ibatan laarin awọn apẹẹrẹ.
Ipa Ilana
Iye owo ati isuna
Awọn ipinnu faaji ṣe awakọ iṣẹ ati idiyele iṣẹ fun awọn ọdun.
Awọn ipinnu diẹ sii
Ẹkọ imọ-ẹrọ ṣe iranlọwọ fun awọn ẹgbẹ lati yan akopọ to tọ, kii ṣe ọkan tuntun nikan.
Iṣakoso didara
Awọn yiyan imọ-ẹrọ to dara julọ dinku awọn iṣẹlẹ igbẹkẹle ni iṣelọpọ.
Ojo iwaju ti Distillation Imọ
Distillation jẹ igbesẹ boṣewa ni gbigbe awọn awoṣe to munadoko ati pe o jẹ aringbungbun si igbi oni ti kekere, awọn awoṣe ṣiṣi ti o lagbara. Aṣa ti n dagba ni iyara jẹ distillation ipele-tẹle lati awọn awoṣe ede ti o tobi, nibiti awoṣe ti o lagbara ti n ṣe ipilẹṣẹ data ikẹkọ tabi awọn itọpa ero (pẹlu pq-ti-ero) lati kọ awọn ọmọ ile-iwe ti o kere ju, titọ laini pẹlu data sintetiki. Reti isọdọkan wiwọ pẹlu titobi ati gige gige, imuṣiṣẹ lori ẹrọ diẹ sii, ati ariyanjiyan ti nlọ lọwọ nipa iwe-aṣẹ ati didara nigbati o ba npa lati awọn awoṣe ohun-ini ti awọn abajade rẹ di ifihan agbara ikẹkọ oludije.
Real-World imuse
DistilBERT compressing BERT si aijọju 40% awọn paramita diẹ lakoko ti o ni idaduro pupọ julọ oye ede rẹ fun itọkasi iyara.
Dinku awoṣe iran nla kan ki olupilẹṣẹ aworan le ṣiṣẹ ni akoko gidi lori ohun elo kamẹra foonuiyara kan.
Ṣiṣaro ero ero-ẹwọn awoṣe nla kan sinu awoṣe ti o kere lati jẹ ki o dahun mathimatiki tabi awọn ibeere ifaminsi diẹ sii ni olowo poku.
Fisipọ akojọpọ awọn awoṣe sinu ọmọ ile-iwe ẹyọkan ki iṣelọpọ iṣẹ ṣiṣe awọn idiyele ati idinku lairi laisi pipadanu deede pupọ.
Awọn ewu & Awọn ọna iṣọ
Ṣiṣepe ala-ilẹ kan le tọju awọn ailagbara eto ti o gbooro.
Awọn ohun elo amayederun ati awọn idiyele itọju nigbagbogbo ni aibikita.
Aabo ati awọn ela akiyesi le dagba bi awọn eto ṣe di eka sii.
Ilana Ilana imuse
Ṣetumo lairi, didara, ati awọn ibi-afẹde idiyele ṣaaju imuse.
Aṣepari labẹ ẹru ojulowo ati awọn ipo data.
Abojuto ohun elo fun awọn aṣiṣe, fiseete, ati ipa olumulo.
Mura ipadasẹhin pada ati awọn ipa ọna esi iṣẹlẹ ṣaaju iwọn.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Knowledge Distillation quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
AI Imọ Management
Awọn ibeere ti a beere nigbagbogbo
Kini Imọ Distillation?
Distillation imo ṣe ikẹkọ awoṣe 'akeko' kekere kan lati ṣafarawe awoṣe 'olukọ' ti o tobi, deede. O ṣe pataki nitori pe o dinku awọn awoṣe ti o lagbara ki wọn ṣiṣẹ ni olowo poku lori awọn foonu ati awọn olupin lakoko ti o tọju pupọ ti deede.
Kini ibi-afẹde ti distillation imọ?
Distillation n gbe agbara olukọ nla kan sinu iwapọ, awoṣe ọmọ ile-iwe yiyara.
Kí ni ‘ìmọ̀ òkùnkùn’ olùkọ́ túmọ̀ sí?
Imọ dudu jẹ eto ni pinpin iṣeeṣe kikun ti olukọ, bii bii 'Ikooko' ṣe jọra si 'aja', kii ṣe idahun oke nikan.
Ipa wo ni iwọn otutu (T) ṣe ni distillation?
Iwọn otutu ti o ga julọ ṣe afihan pinpin iṣeeṣe, ṣafihan awọn ibajọra ibatan ti ọmọ ile-iwe yẹ ki o kọ ẹkọ.
Awọn Ayebaye distillation pipadanu daapọ eyi ti meji irinše?
Ọmọ ile-iwe baamu pinpin rirọ ti olukọ (ọrọ KL) lakoko ti o tun baamu awọn aami-otitọ ilẹ (agbelebu-entropy).
Ewo ni apẹẹrẹ ti awoṣe ede distilled?
DistilBERT jẹ awoṣe ti a mọ daradara ti a sọ distilled lati BERT, ni idaduro iṣẹ ṣiṣe pupọ julọ pẹlu awọn aye ti o kere ju.