Ntụziaka isi

Ọrụ ntinye

Ọrụ ịgbalite bụ obere ọnụ ụzọ na-adịghị ahụ n'ime neuron nke ọ bụla na-eme ka netwọkụ akwara mụta usoro mgbagwoju anya, gbagọrọ agbagọ kama naanị ahịrị kwụ ọtọ.

Nchịkọta

Ọrụ ịgbalite bụ obere ọnụ ụzọ na-adịghị ahụ n'ime neuron nke ọ bụla na-eme ka netwọkụ akwara mụta usoro mgbagwoju anya, gbagọrọ agbagọ kama naanị ahịrị kwụ ọtọ. Na-enweghị ha, netwọk miri emi ga-adaba n'otu nha nha anya.

Ọrụ ịgbalite na-anọdụ na ngwa ngwa AI bụ isi. Mgbe ị ghọtara ya, isiokwu AI ndị ọzọ na-adị mfe ịtụle na atụnyere.

Ime miri emi

Neuron ọ bụla na-agbakọ nchikota nha nke ntinye ya, mana nchikota ahụ naanị bụ ahịrị. Kwakọba ọtụtụ ahịrị ahịrị na, na mgbakọ na mwepụ, ị ka nwere naanị otu nnukwu ọrụ ahịrị, n'agbanyeghị ebe miri emi. Ọrụ ịgbalite na-agbaji nke a site n'itinye mgbanwe na-adịghị na ntanetị na mmepụta neuron nke ọ bụla, na-enye netwọk ike ime ihe fọrọ nke nta ka ọ bụrụ ọrụ ọ bụla. Ihe kachasị ewu ewu bụ ReLU, nke na-ewepụta naanị ntinye ma ọ bụrụ na ọ dị mma na efu ma ọ bụghị ya; ọ dị ngwa ngwa ma na-ezere ụfọdụ nsogbu ọzụzụ nke ọrụ ochie. Sigmoid na tanh skwọsh ụkpụrụ n'ime oke oke ma bụrụ ndị a na-ahụkarị na akụkọ ihe mere eme mana ha nwere ike ịta ahụhụ site na gradients na-apụ n'anya na netwọk miri emi. Ọrụ softmax, nke a na-eji na mmepụta, na-atụgharị akara raw ka ọ bụrụ nkesa nke puru omume karịa klaasị.

Nghọta nka nka

Mkpesa ReLU bụ akụkụ gradient ya: ọ bụ kpọmkwem 1 maka ntinye dị mma, yabụ na ọ naghị ebelata mgbaàmà njehie n'oge mgbasa ozi, na-enyere netwọkụ miri emi aka ịzụ. Sigmoid na tanh, n'ụzọ dị iche, na-adaba na njedebe ha, ebe gradient ha na-abịaru nso efu, na-akpata nsogbu na-apụ n'anya-gradient nke na-akwụsị mmụta na nnukwu nchịkọta. Mbelata nke ReLU bụ okwu na-anwụ anwụ-ReLU, ebe neurons rapaara na ntinye na-adịghị mma na-emepụta efu ruo mgbe ebighị ebi; Ụdị dị iche iche dị ka Leaky ReLU na GELU na-agwa nke a site n'ikwe ka nzaghachi dị ntakịrị ma ọ bụ dị nro.

Ịrụ ọrụ ịgbalite

Ọrụ ịgbalite bụ obere ọnụ ụzọ na-adịghị ahụ n'ime neuron nke ọ bụla na-eme ka netwọkụ akwara mụta usoro mgbagwoju anya, gbagọrọ agbagọ kama naanị ahịrị kwụ ọtọ. Na-enweghị ha, netwọk miri emi ga-adaba n'otu nha nha anya. Ọrụ ịgbalite na-anọdụ na ngwa ngwa AI bụ isi. Mgbe ị ghọtara ya, isiokwu AI ndị ọzọ na-adị mfe ịtụle na atụnyere. Iji wuo nghọta miri emi, na-emeso Ọrụ Activation dị ka ihe nlere anya na-arụ ọrụ, ọ bụghị otu njirimara: kọwaa nsonaazụ achọrọ, dokwuo anya echiche, ma kewaa ihe sistemụ nwere ike ime nke ọma na ihe ka na-achọ mkpebi ndị ọkachamara.

Na omume, otu ndị siri ike na-eji Ọrụ Activation na-ebu ụzọ mepụta ụdị echiche siri ike, wee mapụta ụdị ndị ahụ ka ọ bụrụ ezigbo mmachi mmepụta. Ha na-edepụta njirisi ịga nke ọma nke ọma, nwalee megide data ziri ezi yana usoro ọrụ, yana na-atụgharị dabere na usoro ọdịda ahụrụ karịa karịa mmeri otu oge. Nke a bụ ebe nghọta usoro ihe atụ na-atụgharị ghọọ ike na-adịgide adịgide n'ofe ngwaahịa, amụma na arụmọrụ.

Ọ na-enyere gị aka ikewapụta nkwupụta ọrụ aka doro anya na asụsụ ahịa. N'otu oge ahụ, ndị otu dị iche iche nwere ike iji otu okwu dị iche iche, yabụ kọwapụta oke n'oge. Ụzọ kachasị na-agbanwe agbanwe bụ ijikọ ọsọ nnwale na ịdọ aka ná ntị ọchịchị: ndị na-anya ụgbọ elu, ijide ihe akaebe, bipụta ndekọ mkpebi, na na-aga n'ihu na-emelite nchekwa dị ka omume nlereanya, atụmanya ndị ọrụ, na ihe iwu chọrọ.

Mmetụta atụmatụ

Ọ na-enyere gị aka ikewapụta nkwupụta ọrụ aka doro anya na asụsụ ahịa.

Ọ na-enyere gị aka ikewapụta nkwupụta ọrụ aka doro anya na asụsụ ahịa. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.

Ị nwere ike ịjụ ajụjụ mmejuputa iwu ka mma tupu itinye ego ma ọ bụ oge.

Ị nwere ike ịjụ ajụjụ mmejuputa iwu ka mma tupu itinye ego ma ọ bụ oge. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.

Ndị otu nwere nghọta na-eme ka ngwaahịa, amụma na mkpebi mmụta ka mma.

Ndị otu nwere nghọta na-eme ka ngwaahịa, amụma na mkpebi mmụta ka mma. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.

Ọdịnihu nke ọrụ ịgbalite

ReLU na nwanne nna ya dị nro GELU na-achị taa, ebe GELU nwere mmasị na mgbanwe mgbanwe n'ihi na ụzọ ya dị larịị na-ejikọta ya na usoro ọzụzụ ha. Nchọcha na-enyocha ihe mmụta na arụrụ arụ dị ka SwiGLU, nke a na-ahụkarị ugbu a n'ụdị asụsụ buru ibu, nke na-eji gating multiplicative kwalite nkwupụta. Omume sara mbara bụ n'ebe ọrụ dị ire ụtọ, arụrụ arụ nke na-eme ka usoro gradient dịkwuo mma na ogo ụdị n'ogo. Ọ bụ ezie na mmemme pụrụ iche na-apụta mgbe niile n'akwụkwọ, ọrụ dị mfe, ndị na-akpakwa àgwà ọma na-enwekarị mmeri n'omume n'ihi na ha na-azụ nke ọma n'ofe nnukwu ụdị.

Mmejuputa n'ezie n'ụwa

Iji ReLU n'ọkwa zoro ezo nke netwọkụ mmekọrịta ka ọ nwee ike mụta oke mkpebi gbara agba maka njirimara onyonyo

Itinye softmax na oyi akwa ikpeazụ iji tụgharịa akara raw nke classifier ka ọ bụrụ ohere klaasị na-agbakọta ọnụ.

Ịhọrọ ọrụ GELU n'ime ihe ngbanwe asụsụ ihe ngbanwe maka ịgbasa gradient dị nro

Ịgbanwe na Leaky ReLU mgbe ọtụtụ neurons na netwọk nwụrụ ma kwụsị ịzaghachi

Usoro mmejuputa

Ọrụ ịgbalite na omume

Iji ReLU n'ọkwa zoro ezo nke netwọkụ mmekọrịta ka ọ nwee ike mụta oke mkpebi gbara agba maka njirimara onyonyo.

Iji ReLU n'okirikiri zoro ezo nke netwọkụ nke convolutional ka ọ nwee ike mụta oke mkpebi gbara agba maka ndị otu njirimara onyonyo na-enwetakarị nsonaazụ kacha mma mgbe ha kọwapụtara ọnụ ụzọ dị mma n'ihu, debe ụzọ mmụba mmadụ maka ikpe ikpe, wee soro ma uru nrụpụta yana ụgwọ njehie n'oge.

Ọrụ ịgbalite na omume

Itinye softmax na oyi akwa ikpeazụ iji tụgharịa akara raw nke classifier ka ọ bụrụ ohere klaasị na-agbakọta ọnụ.

Itinye softmax na oyi akwa ikpeazụ iji tụgharịa ọnụ ọgụgụ raw classifier ka ọ bụrụ ohere klaasị nke na-achịkọta otu otu na-enwetakarị nsonaazụ kacha mma mgbe ha kọwapụta ọnụ ụzọ dị mma n'ihu, debe ụzọ mmụba mmadụ maka ikpe ọnụ, wee soro ma uru nrụpụta na ụgwọ njehie n'oge.

Ọrụ ịgbalite na omume

Ịhọrọ ọrụ GELU n'ime ihe ngbanwe asụsụ ihe ngbanwe maka ịgbasa gradient dị nro.

Ịhọrọ ọrụ GELU n'ime ihe ngbanwe asụsụ mgbanwe maka ịgbagharị gradient dị nro Otu na-enwetakarị nsonaazụ kacha mma mgbe ha kọwapụtara ọnụ ụzọ dị mma n'ihu, na-echekwa ụzọ nkwalite mmadụ maka ikpe ọnụ, ma soro ma uru nrụpụta yana ọnụ ahịa njehie ka oge na-aga.

Ọrụ ịgbalite na omume

Ịgbanwe na Leaky ReLU mgbe ọtụtụ neurons na netwọk nwụrụ ma kwụsị ịzaghachi.

Ịtụgharị na Leaky ReLU mgbe ọtụtụ neurons na netwọk nwụrụ ma kwụsị ịza otu ìgwè na-enwetakarị nsonaazụ ka mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-eme ka ụzọ mmadụ dịkwuo elu maka ikpe ikpe, ma soro ma uru mmepụta na ụgwọ njehie na oge.

Ihe ize ndụ & okporo ụzọ nche

!

Otu dị iche iche nwere ike iji otu okwu ahụ mee ihe n'ụzọ dị iche, yabụ kọwapụta oge n'oge.

!

Ihe nrịbama nwere ike ịdị ike ebe arụmọrụ ụwa na-adaghị adaba.

!

Ileghara ogo data na atụmatụ nyocha anya na-ebutekarị nsonaazụ na-adịghị mma.

Map mmejuputa

1

Malite na nkọwa asụsụ dị larịị nke nsonaazụ ịchọrọ.

Malite na nkọwa asụsụ dị larịị nke nsonaazụ ịchọrọ. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.

2

Họrọ otu metrik ịga nke ọma na otu ọnọdụ ọdịda tupu nnwale.

Họrọ otu metrik ịga nke ọma na otu ọnọdụ ọdịda tupu nnwale. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.

3

Gbaa obere onye na-anya ụgbọ elu nwere data nnọchite anya, ọ bụghị ihe ngosi ngosi na-egbu maramara.

Gbaa obere onye na-anya ụgbọ elu nwere data nnọchite anya, ọ bụghị ihe ngosi ngosi na-egbu maramara. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.

4

Detuo ebe arụrụ ọrụ na-enyere aka yana ebe ụzọ ndị dị mfe dị mma.

Detuo ebe arụrụ ọrụ na-enyere aka yana ebe ụzọ ndị dị mfe dị mma. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.

Nọgide na-eme nchọpụta