Ọrụ ntinye
Ọrụ ịgbalite bụ obere ọnụ ụzọ na-adịghị ahụ n'ime neuron nke ọ bụla na-eme ka netwọkụ akwara mụta usoro mgbagwoju anya, gbagọrọ agbagọ kama naanị ahịrị kwụ ọtọ.
Nchịkọta
Without them, a deep network would collapse into a single linear equation.
Ime miri emi
Neuron ọ bụla na-agbakọ nchikota nha nke ntinye ya, mana nchikota ahụ naanị bụ ahịrị. Kwakọba ọtụtụ ahịrị ahịrị na, na mgbakọ na mwepụ, ị ka nwere naanị otu nnukwu ọrụ ahịrị, n'agbanyeghị ebe miri emi. Ọrụ ịgbalite na-agbaji nke a site n'itinye mgbanwe na-adịghị na ntanetị na mmepụta neuron nke ọ bụla, na-enye netwọk ike ime ihe fọrọ nke nta ka ọ bụrụ ọrụ ọ bụla. Ihe kachasị ewu ewu bụ ReLU, nke na-ewepụta naanị ntinye ma ọ bụrụ na ọ dị mma na efu ma ọ bụghị ya; ọ dị ngwa ngwa ma na-ezere ụfọdụ nsogbu ọzụzụ nke ọrụ ochie. Sigmoid na tanh skwọsh ụkpụrụ n'ime oke oke ma bụrụ ndị a na-ahụkarị na akụkọ ihe mere eme mana ha nwere ike ịta ahụhụ site na gradients na-apụ n'anya na netwọk miri emi. Ọrụ softmax, nke a na-eji na mmepụta, na-atụgharị akara raw ka ọ bụrụ nkesa nke puru omume karịa klaasị.
Nghọta nka nka
Mkpesa ReLU bụ akụkụ gradient ya: ọ bụ kpọmkwem 1 maka ntinye dị mma, yabụ na ọ naghị ebelata mgbaàmà njehie n'oge mgbasa ozi, na-enyere netwọkụ miri emi aka ịzụ. Sigmoid na tanh, n'ụzọ dị iche, na-adaba na njedebe ha, ebe gradient ha na-abịaru nso efu, na-akpata nsogbu na-apụ n'anya-gradient nke na-akwụsị mmụta na nnukwu nchịkọta. Mbelata nke ReLU bụ okwu na-anwụ anwụ-ReLU, ebe neurons rapaara na ntinye na-adịghị mma na-emepụta efu ruo mgbe ebighị ebi; Ụdị dị iche iche dị ka Leaky ReLU na GELU na-agwa nke a site n'ikwe ka nzaghachi dị ntakịrị ma ọ bụ dị nro.
Mmetụta atụmatụ
Mkpebi doro anya
Ọ na-enyere gị aka ikewapụta nkwupụta ọrụ aka doro anya na asụsụ ahịa.
Ọnụ ego na mmefu ego
Ị nwere ike ịjụ ajụjụ mmejuputa iwu ka mma tupu itinye ego ma ọ bụ oge.
Team na usoro ọrụ
Ndị otu nwere nghọta na-eme ka ngwaahịa, amụma na mkpebi mmụta ka mma.
Ọdịnihu nke ọrụ ịgbalite
ReLU na nwanne nna ya dị nro GELU na-achị taa, ebe GELU nwere mmasị na mgbanwe mgbanwe n'ihi na ụzọ ya dị larịị na-ejikọta ya na usoro ọzụzụ ha. Nchọcha na-enyocha ihe mmụta na arụrụ arụ dị ka SwiGLU, nke a na-ahụkarị ugbu a n'ụdị asụsụ buru ibu, nke na-eji gating multiplicative kwalite nkwupụta. Omume sara mbara bụ n'ebe ọrụ dị ire ụtọ, arụrụ arụ nke na-eme ka usoro gradient dịkwuo mma na ogo ụdị n'ogo. Ọ bụ ezie na mmemme pụrụ iche na-apụta mgbe niile n'akwụkwọ, ọrụ dị mfe, ndị na-akpakwa àgwà ọma na-enwekarị mmeri n'omume n'ihi na ha na-azụ nke ọma n'ofe nnukwu ụdị.
Mmejuputa n'ezie n'ụwa
Iji ReLU n'ọkwa zoro ezo nke netwọkụ mmekọrịta ka ọ nwee ike mụta oke mkpebi gbara agba maka njirimara onyonyo
Itinye softmax na oyi akwa ikpeazụ iji tụgharịa akara raw nke classifier ka ọ bụrụ ohere klaasị na-agbakọta ọnụ.
Ịhọrọ ọrụ GELU n'ime ihe ngbanwe asụsụ ihe ngbanwe maka ịgbasa gradient dị nro
Ịgbanwe na Leaky ReLU mgbe ọtụtụ neurons na netwọk nwụrụ ma kwụsị ịzaghachi
Ihe ize ndụ & okporo ụzọ nche
Otu dị iche iche nwere ike iji otu okwu ahụ mee ihe n'ụzọ dị iche, yabụ kọwapụta oge n'oge.
Ihe nrịbama nwere ike ịdị ike ebe arụmọrụ ụwa na-adaghị adaba.
Ileghara ogo data na atụmatụ nyocha anya na-emepụtakarị nsonaazụ na-adịghị mma.
Map mmejuputa
Malite na nkọwa asụsụ dị larịị nke nsonaazụ ịchọrọ.
Họrọ otu metrik ịga nke ọma na otu ọnọdụ ọdịda tupu nnwale.
Gbaa obere onye na-anya ụgbọ elu nwere data nnọchite anya, ọ bụghị ihe ngosi ngosi na-egbu maramara.
Detuo ebe arụrụ ọrụ na-enyere aka yana ebe ụzọ ndị dị mfe dị mma.
Nọgide na-eme nchọpụta
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Activation Functions quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Ntuziaka na-esote
Ọrụ efu
Ajụjụ a na-ajụkarị
What is Activation Functions?
Ọrụ ịgbalite bụ obere ọnụ ụzọ na-adịghị ahụ n'ime neuron nke ọ bụla na-eme ka netwọkụ akwara mụta usoro mgbagwoju anya, gbagọrọ agbagọ kama naanị ahịrị kwụ ọtọ. Na-enweghị ha, netwọk miri emi ga-adaba n'otu nha nha anya.
Kedu ihe ga-eme netwọk miri emi na-enweghị ọrụ ịgbalite?
Ikpokọta akwa ahịrị na-enweghị enweghị usoro na-adaba na mgbakọ na mwepụ ka ọ bụrụ otu mgbanwe ahịrị, yabụ netwọk enweghị ike ịmụta usoro dị mgbagwoju anya.
Kedu ihe nrụpụta ọrụ ReLU maka ntinye adịghị mma?
ReLU na-ewepụta ntinye mgbe ọ dị mma yana efu mgbe ọ na-adịghị mma, nke na-eme ka ọ dị mfe na ngwa ngwa ịgbakọ.
Gịnị bụ nsogbu na-apụ n'anya-gradient metụtara sigmoid na tanh?
Sigmoid na tanh na-adaba na njedebe ha, yabụ gradient ha na-agbada na efu, na-ebelata mgbaàmà njehie na netwọk miri emi.
Kedu ọrụ ịgbalite ka a na-ejikarị na oyi akwa mmepụta nke classifier ọtụtụ?
Softmax na-atụgharị akara raw ka ọ bụrụ nkesa puru omume karịa klaasị na-agbakọta na otu, dị mma maka mmepụta nhazi ọkwa.
Kedu ihe bụ nsogbu 'ReLU na-anwụ'?
Ọ bụrụ na neuron ReLU na-enweta ntinye na-adịghị mma mgbe niile, ọ na-ewepụta efu na gradient efu wee kwụsị imelite nke ọma, yabụ 'na-anwụ.'