Nchịkọta
Ọmụma distillation na-azụ obere 'ụmụ akwụkwọ' nlereanya iji ṅomie nnukwu ihe nlereanya 'onye nkuzi' ziri ezi. Ọ dị mkpa n'ihi na ọ na-ebelata ụdị dị ike nke mere na ha na-agba ọsọ dị ọnụ ala na ekwentị na sava ebe ha na-edebe ọtụtụ izi ezi.
Ọmụma Distillation bụ teknuzu ụlọ ngọngọ na-emetụta àgwà nlereanya, akụrụngwa ugwo, latency, na ntụkwasị obi na ọnụ ọgụgụ.
Ime miri emi
Modelsdị buru ibu bụ nke ziri ezi mana ọ dị nwayọ ma dịkwa ọnụ ibu ibu. Ntugharị ihe ọmụma na-ebufe ike ha ka ọ bụrụ kọmpat nlereanya site n'ime ka nwa akwụkwọ ahụ mụta ihe site na ihe onye nkụzi na-eme ka ọ bụghị nanị site na akara ike. Nghọta bụ isi, site na Hinton na ndị ọrụ ibe, bụ na nkesa nke puru omume nke onye nkuzi na-ebu 'ihe ọmụma gbara ọchịchịrị': ọbụlagodi mgbe ọ na-ebu amụma 'nkịta', ihe gbasara nke puru omume maka 'wolf' megide 'ụgbọ ala' na-ekpughe otú onye nkụzi si ahụ myirịta. Iji okpomọkụ mee ka ihe puru omume ndị a dị nro na-ekpughe ihe owuwu ahụ, a zụrụ nwa akwụkwọ ahụ ka ọ dakọtara ya, na-esonyekarị na ezigbo akara. Ihe si na ya pụta bụ obere ihe nlere ngwa ngwa nke na-achịkọta nke ọma karịa nke a zụrụ na akara naanị. DistilBERT na TinyBERT bụ ụdị asụsụ agbasasị ama ama.
Nghọta nka nka
Ọnwụ nke kpochapụwo na-ejikọta okwu nhụsianya (KL divergence n'etiti ihe omume dị nro nke nwa akwụkwọ na onye nkụzi) yana ọkọlọtọ cross-entropy na ezigbo akara. Ịdị nro na-eji okpomọkụ T na softmax: elu T na-eme ka nkesa dị ntakịrị ka obere myirịta dị n'etiti klas ghọọ akara mmụta; A na-ejikarị T-squared na-agbazi gradient ahụ. Ọdịiche dị iche iche na-agabiga nsonaazụ: njiri njiri arụ ọrụ dabara n'ọkwa zoro ezo dị n'etiti, yana nhụsianya dabere na mmekọrịta dabara na mmekọrịta n'etiti ọmụmaatụ.
Ịmụta Distillation Ọmụma
Ọmụma distillation na-azụ obere 'ụmụ akwụkwọ' nlereanya iji ṅomie nnukwu ihe nlereanya 'onye nkuzi' ziri ezi. Ọ dị mkpa n'ihi na ọ na-ebelata ụdị dị ike nke mere na ha na-agba ọsọ dị ọnụ ala na ekwentị na sava ebe ha na-edebe ọtụtụ izi ezi. Ọmụma Distillation bụ teknuzu ụlọ ngọngọ na-emetụta àgwà nlereanya, akụrụngwa ugwo, latency, na ntụkwasị obi na ọnụ ọgụgụ. Iji wulite nghọta miri emi, na-emeso Distillation Ọmụma dị ka ihe nlereanya na-arụ ọrụ, ọ bụghị otu akụkụ: kọwaa nsonaazụ achọrọ, dokwuo anya echiche, ma kewaa ihe sistemụ nwere ike ime nke ọma na ihe ka chọrọ mkpebi ndị ọkachamara.
Na omume, otu ndị siri ike na-eji Ọmụma Ọmụma na-ebuli ụkpụrụ ụlọ, data, na nhọrọ akụrụngwa megide ntụkwasị obi na ọnụ ahịa. Ha na-edepụta njirisi ịga nke ọma nke ọma, nwalee megide data ziri ezi yana usoro ọrụ, yana na-atụgharị dabere na usoro ọdịda ahụrụ karịa karịa mmeri otu oge. Nke a bụ ebe nghọta usoro ihe atụ na-atụgharị ghọọ ike na-adịgide adịgide n'ofe ngwaahịa, amụma na arụmọrụ.
Mkpebi ihe owuwu ụlọ na-akwalite arụmọrụ yana ọnụ ahịa ọrụ ruo ọtụtụ afọ. N'otu oge ahụ, ịkwalite otu akara ngosi nwere ike zoo adịghị ike sistemụ sara mbara. Ụzọ kachasị na-agbanwe agbanwe bụ ijikọ ọsọ nnwale na ịdọ aka ná ntị ọchịchị: ndị na-anya ụgbọ elu, ijide ihe akaebe, bipụta ndekọ mkpebi, na na-aga n'ihu na-emelite nchekwa dị ka omume nlereanya, atụmanya ndị ọrụ, na ihe iwu chọrọ.
Mmetụta atụmatụ
Mkpebi ihe owuwu ụlọ na-akwalite arụmọrụ yana ọnụ ahịa ọrụ ruo ọtụtụ afọ.
Mkpebi ihe owuwu ụlọ na-akwalite arụmọrụ yana ọnụ ahịa ọrụ ruo ọtụtụ afọ. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Nkà mmụta nka na-enyere ndị otu egwuregwu aka ịhọrọ nchịkọta ziri ezi, ọ bụghị naanị nke kachasị ọhụrụ.
Nkà mmụta nka na-enyere ndị otu egwuregwu aka ịhọrọ nchịkọta ziri ezi, ọ bụghị naanị nke kachasị ọhụrụ. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Nhọrọ injinia ka mma na-ebelata ihe omume ntụkwasị obi na mmepụta.
Nhọrọ injinia ka mma na-ebelata ihe omume ntụkwasị obi na mmepụta. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Mmejuputa n'ezie n'ụwa
DistilBERT na-akpakọ BERT ka ọ bụrụ 40% pere mpe ka ọ na-ejigide ọtụtụ nghọta asụsụ ya maka ntinye ngwa ngwa.
Na-ebelata nnukwu ụdị ọhụụ ka onye nhazi ihe onyonyo wee nwee ike ịgba ọsọ ozugbo na ngwa igwefoto ama ama.
Na-atụgharị uche n'echiche nke nnukwu ihe nlereanya n'ime obere ihe nlereanya iji mee ka ọ zaa mgbakọ na mwepụ ma ọ bụ itinye ajụjụ ọnụ karịa ọnụ ala.
Na-akpakọkọta mkpokọta ụdị n'ime otu nwa akwụkwọ ka mmepụta ihe na-akwụ ụgwọ na-adalata na-enweghị nnukwu mfu.
Usoro mmejuputa
Ọmụma Distillation na omume
DistilBERT na-akpakọ BERT ka ọ bụrụ 40% pere mpe ka ọ na-ejigide ọtụtụ nghọta asụsụ ya maka ntinye ngwa ngwa.
DistilBERT na-echikota BERT ka ọ dị ntakịrị 40% ka ọ na-ejigide ọtụtụ n'ime nghọta asụsụ ya maka ngwa ngwa ntinye aka otu na-enwetakarị nsonaazụ kacha mma mgbe ha kọwapụtara ọnụ ụzọ dị mma n'ihu, debe ụzọ mmụba mmadụ maka ikpe ikpe, ma soro ma uru nrụpụta yana ụgwọ njehie na oge.
Ọmụma Distillation na omume
Na-ebelata nnukwu ụdị ọhụụ ka onye nhazi ihe onyonyo wee nwee ike ịgba ọsọ ozugbo na ngwa igwefoto ama ama.
Mbelata ụdị ọhụụ buru ibu ka onye na-ahụ maka ihe onyonyo wee na-agba ọsọ ozugbo na ngwa igwefoto ama ama Otu egwuregwu na-enwetakarị nsonaazụ kacha mma mgbe ha kọwapụta ọnụ ụzọ dị mma n'ihu, na-edobe ụzọ ịrị elu mmadụ maka ikpe ihu, ma soro ma uru nrụpụta yana ụgwọ njehie n'ime oge.
Ọmụma Distillation na omume
Na-atụgharị uche n'echiche nke nnukwu ihe nlereanya n'ime obere ihe nlereanya iji mee ka ọ zaa mgbakọ na mwepụ ma ọ bụ itinye ajụjụ ọnụ karịa ọnụ ala.
Ịmepụta echiche echiche nke nnukwu ihe nlereanya n'ime obere ihe nlereanya iji mee ka ọ zaa mgbakọ na mwepụ ma ọ bụ ajụjụ ọnụ ọnụ ọnụ.
Ọmụma Distillation na omume
Na-akpakọkọta mkpokọta ụdị n'ime otu nwa akwụkwọ ka mmepụta ihe na-akwụ ụgwọ na-adalata na-enweghị nnukwu mfu.
Ịmekọkọta ọnụ ọgụgụ nke ụdị n'ime otu nwa akwụkwọ ka mmepụta ihe na-akwụ ụgwọ na nkwụsị nkwụsị na-enweghị ọtụtụ nkwụsị nke ọma, otu na-enwetakarị nsonaazụ ka mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-eme ka ụzọ mmadụ si abawanye maka ikpe ikpe, ma soro ma uru nrụpụta na ụgwọ njehie n'ime oge.
Ihe ize ndụ & okporo ụzọ nche
Ịkwalite otu akara ngosi nwere ike zoo adịghị ike sistemụ sara mbara.
A na-eledakarị ihe akụrụngwa na ụgwọ ọrụ anya.
Ọdịiche nchekwa na nleba anya nwere ike itolite ka sistemu na-adịwanye mgbagwoju anya.
Map mmejuputa
Kọwaa latency, ịdịmma na ebumnuche ọnụ ahịa tupu mmejuputa ya.
Kọwaa latency, ịdịmma na ebumnuche ọnụ ahịa tupu mmejuputa ya. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Benchmark n'okpuru ibu dị adị na ọnọdụ data.
Benchmark n'okpuru ibu dị adị na ọnọdụ data. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Nleba anya akụrụngwa maka mperi, ịkpafu na mmetụta onye ọrụ.
Nleba anya akụrụngwa maka mperi, ịkpafu na mmetụta onye ọrụ. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Kwadebe ụzọ nzaghachi azụghachi azụ na ihe omume tupu ịchachaa.
Kwadebe ụzọ nzaghachi azụghachi azụ na ihe omume tupu ịchachaa. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.