Awọn ipilẹ Itọsọna
Awọn iṣẹ ṣiṣe
Awọn iṣẹ imuṣiṣẹ jẹ awọn ẹnu-ọna kekere ti kii ṣe laini laarin neuron kọọkan ti o jẹ ki awọn nẹtiwọọki nkankikan kọ ẹkọ eka, awọn ilana te dipo awọn laini taara.
Gbọ si itọsọna yiiAI-ṣe afihan · ~2 min
Lori iwe yi2 min ka
Akopọ
Laisi wọn, nẹtiwọki ti o jinlẹ yoo ṣubu sinu idogba laini kan.
Jin Dive
Neuron kọọkan ṣe iṣiro iye iwọn ti awọn igbewọle rẹ, ṣugbọn iye yẹn nikan jẹ laini. Ṣe akopọ ọpọlọpọ awọn fẹlẹfẹlẹ laini ati, ni mathematiki, iwọ tun ni iṣẹ laini nla kan nikan, laibikita bi o ti jin to. Awọn iṣẹ imuṣiṣẹ fọ eyi nipa lilo iyipada aiṣedeede si iṣelọpọ neuron kọọkan, fifun awọn nẹtiwọọki ni agbara lati isunmọ fere eyikeyi iṣẹ. Awọn julọ gbajumo ni ReLU, eyi ti o nìkan àbájade awọn input ti o ba ti rere ati odo bibẹkọ ti; o yara ati yago fun diẹ ninu awọn iṣoro ikẹkọ ti awọn iṣẹ agbalagba. Sigmoid ati awọn iye elegede tanh sinu awọn sakani ti o ni opin ati pe o wọpọ ni itan-akọọlẹ ṣugbọn o le jiya lati awọn gradients ti sọnu ni awọn nẹtiwọọki ti o jinlẹ. Iṣẹ softmax, ti a lo ni iṣelọpọ, ṣe iyipada awọn ikun aise sinu pinpin iṣeeṣe lori awọn kilasi.
Real-World imuse
Lilo ReLU ni awọn ipele ti o farapamọ ti nẹtiwọọki ariyanjiyan ki o le kọ ẹkọ awọn aala ipinnu te fun idanimọ aworan
Lilo softmax ni ipele ikẹhin lati yi awọn ikun aise ti classifier kan si awọn iṣeeṣe kilasi ti o ṣe akopọ si ọkan
Yiyan awọn iṣẹ ṣiṣe GELU inu awoṣe ede transformer kan fun sisan mimu dirọ
Yipada si Leaky ReLU nigbati ọpọlọpọ awọn neuronu ninu nẹtiwọọki kan ti ku ati dẹkun idahun
Ojo iwaju ti Awọn iṣẹ Iṣiṣẹ
ReLU ati ibatan rẹ dan GELU jẹ gaba lori loni, pẹlu GELU ti ṣe ojurere ni awọn oluyipada nitori awọn orisii didan rẹ daradara pẹlu awọn agbara ikẹkọ wọn. Iwadi n ṣawari awọn iṣẹ ṣiṣe ti ẹkọ ati gated bi SwiGLU, ni bayi ti o wọpọ ni awọn awoṣe ede nla, eyiti o lo gating isodipupo lati ṣe alekun ikosile. Aṣa gbooro naa wa si didan, awọn iṣẹ gated ti o ni ilọsiwaju ṣiṣan gradient ati didara awoṣe ni iwọn. Lakoko ti awọn imuṣiṣẹ nla han nigbagbogbo ninu awọn iwe, irọrun, awọn iṣẹ ihuwasi daradara lati ṣẹgun ni iṣe nitori wọn ṣe ikẹkọ ni igbẹkẹle kọja awọn awoṣe nla.
Fifi o sinu iwa
Kini idi ti o ṣe pataki
- Awọn ipinnu diẹ sii. O ṣe iranlọwọ fun ọ lati ya sọtọ awọn iṣeduro imọ-ẹrọ lati ede tita.
- Iye owo ati isuna. O le beere awọn ibeere imuse to dara julọ ṣaaju lilo owo tabi akoko.
- Ẹgbẹ ati ṣiṣan iṣẹ. Awọn ẹgbẹ pẹlu oye pinpin ṣe ọja to dara julọ, eto imulo, ati awọn ipinnu ikẹkọ.
Ṣọra fun
- Awọn ẹgbẹ oriṣiriṣi le lo ọrọ kanna ni oriṣiriṣi, nitorinaa ṣalaye iwọn ni kutukutu.
- Awọn aṣepari le wo lagbara lakoko ti iṣẹ-aye gidi ko ṣe deede.
- Aibikita didara data ati awọn ero igbelewọn nigbagbogbo ṣẹda awọn abajade ẹlẹgẹ.
Next awọn igbesẹ
- Bẹrẹ pẹlu itumọ-ede itele ti abajade ti o nilo.
- Mu metiriki aṣeyọri kan ati ipo ikuna kan ṣaaju idanwo.
- Ṣiṣe awakọ kekere kan pẹlu data aṣoju, kii ṣe eto demo didan.
- Iwe-ipamọ nibiti Awọn iṣẹ imuṣiṣẹ ṣe iranlọwọ ati nibiti awọn ọna ti o rọrun dara julọ.
Tesiwaju Ṣiṣawari
Ìwé ìròyìn ọfẹ
Gba ìkànìyàn AI ojoojúmọ́
Ìtàn AI mẹta tó jẹ́rìí ní gbogbo owurọ́ ọjọ́ iṣẹ́, kọ́wé ní Gẹ̀ẹ́sì tó rọrùn. Ọfẹ́ fún gbogbo àkókò, kò sí ìpolówó.
Ìmeèlì kan ní gbogbo ọjọ́ iṣẹ́. Yọkúrò ní ìkànìyàn ní ìkànìyàn kan. A kò ta tàbí pín àdírẹ́sì rẹ.
Ṣe idanwo fun ara rẹ
Take the Activation Functions quiz
Ìdáhùn lẹ́sẹ̀kẹsẹ̀ lórí gbogbo ìdáhùn, àti iwe-ẹ̀rí tó lè pin pẹ̀lú ID tó lè jẹ́rìí lẹ́yìn tí o bá kọ́ ẹ̀kọ́.
Ṣe àtìlẹ́yìn ẹ̀kọ́ AI ọfẹ́. AI Understanding jẹ́ àjọ àìní èrè 501(c)(3) — kò sí ìpolówó, kò sí àkúnya owó, ní gbogbo àkókò. Ṣe ẹbun kan
Awọn ibeere ti a beere nigbagbogbo
Kini Awọn iṣẹ Mu ṣiṣẹ?
Awọn iṣẹ imuṣiṣẹ jẹ awọn ẹnu-ọna kekere ti kii ṣe laini laarin neuron kọọkan ti o jẹ ki awọn nẹtiwọọki nkankikan kọ ẹkọ eka, awọn ilana te dipo awọn laini taara. Laisi wọn, nẹtiwọki ti o jinlẹ yoo ṣubu sinu idogba laini kan.
Why can stacking only linear layers not learn a curved decision boundary?
Without nonlinear activations, multiple linear layers compose to another linear mapping.
Why can sigmoid and tanh stall learning in deep networks when inputs reach their extremes?
At their flat extremes, their near-zero gradients weaken the backpropagated signal.
A multiclass classifier needs output values that sum to one across classes. Which function does the guide use?
Softmax turns raw class scores into a probability distribution over classes.
What does the “dying ReLU” problem mean in the guide?
A ReLU stuck receiving negative inputs can keep outputting zero, preventing useful updates through that unit.
Which variant is suggested when many ReLU units stay inactive?
The guide names Leaky ReLU as a response to dead units because its negative side is not flat at zero.
Tesiwaju kikọ
Jẹmọ awọn itọsọna
Awọn itọsọna diẹ sii ti a yan fun koko yii