Awọn iṣẹ ṣiṣe
Awọn iṣẹ imuṣiṣẹ jẹ awọn ẹnu-ọna kekere ti kii ṣe laini laarin neuron kọọkan ti o jẹ ki awọn nẹtiwọọki nkankikan kọ ẹkọ eka, awọn ilana te dipo awọn laini taara.
Akopọ
Without them, a deep network would collapse into a single linear equation.
Jin Dive
Neuron kọọkan ṣe iṣiro iye iwọn ti awọn igbewọle rẹ, ṣugbọn iye yẹn nikan jẹ laini. Ṣe akopọ ọpọlọpọ awọn fẹlẹfẹlẹ laini ati, ni mathematiki, iwọ tun ni iṣẹ laini nla kan nikan, laibikita bi o ti jin to. Awọn iṣẹ imuṣiṣẹ fọ eyi nipa lilo iyipada aiṣedeede si iṣelọpọ neuron kọọkan, fifun awọn nẹtiwọọki ni agbara lati isunmọ fere eyikeyi iṣẹ. Awọn julọ gbajumo ni ReLU, eyi ti o nìkan àbájade awọn input ti o ba ti rere ati odo bibẹkọ ti; o yara ati yago fun diẹ ninu awọn iṣoro ikẹkọ ti awọn iṣẹ agbalagba. Sigmoid ati awọn iye elegede tanh sinu awọn sakani ti o ni opin ati pe o wọpọ ni itan-akọọlẹ ṣugbọn o le jiya lati awọn gradients ti sọnu ni awọn nẹtiwọọki ti o jinlẹ. Iṣẹ softmax, ti a lo ni iṣelọpọ, ṣe iyipada awọn ikun aise sinu pinpin iṣeeṣe lori awọn kilasi.
Imọ-imọ-ẹrọ
Apetunpe ReLU jẹ apakan diẹdiẹ rẹ: o jẹ deede 1 fun awọn igbewọle to dara, nitorinaa ko dinku ami ifihan aṣiṣe lakoko isọdọtun, ṣe iranlọwọ fun ikẹkọ awọn nẹtiwọọki jinlẹ. Sigmoid ati tanh, ni iyatọ, fifẹ ni awọn iwọn wọn, nibiti itusilẹ wọn ti sunmọ odo, ti o nfa iṣoro apanirun-afẹfẹ ti o da ikẹkọ duro ni awọn akopọ ti o jinlẹ. ReLU ká downside ni awọn ku-ReLU oro, ibi ti neurons di ni odi igbewọle jade odo lailai; awọn iyatọ bii Leaky ReLU ati GELU koju eyi nipa gbigba idahun kekere tabi didan.
Ipa Ilana
Awọn ipinnu diẹ sii
O ṣe iranlọwọ fun ọ lati ya sọtọ awọn iṣeduro imọ-ẹrọ lati ede tita.
Iye owo ati isuna
O le beere awọn ibeere imuse to dara julọ ṣaaju lilo owo tabi akoko.
Ẹgbẹ ati ṣiṣan iṣẹ
Awọn ẹgbẹ pẹlu oye pinpin ṣe ọja to dara julọ, eto imulo, ati awọn ipinnu ikẹkọ.
Ojo iwaju ti Awọn iṣẹ Iṣiṣẹ
ReLU ati ibatan rẹ dan GELU jẹ gaba lori loni, pẹlu GELU ti ṣe ojurere ni awọn oluyipada nitori awọn orisii didan rẹ daradara pẹlu awọn agbara ikẹkọ wọn. Iwadi n ṣawari awọn iṣẹ ṣiṣe ti ẹkọ ati gated bi SwiGLU, ni bayi ti o wọpọ ni awọn awoṣe ede nla, eyiti o lo gating isodipupo lati ṣe alekun ikosile. Aṣa gbooro naa wa si didan, awọn iṣẹ gated ti o ni ilọsiwaju ṣiṣan gradient ati didara awoṣe ni iwọn. Lakoko ti awọn imuṣiṣẹ nla han nigbagbogbo ninu awọn iwe, irọrun, awọn iṣẹ ihuwasi daradara lati ṣẹgun ni iṣe nitori wọn ṣe ikẹkọ ni igbẹkẹle kọja awọn awoṣe nla.
Real-World imuse
Lilo ReLU ni awọn ipele ti o farapamọ ti nẹtiwọọki ariyanjiyan ki o le kọ ẹkọ awọn aala ipinnu te fun idanimọ aworan
Lilo softmax ni ipele ikẹhin lati yi awọn ikun aise ti classifier kan si awọn iṣeeṣe kilasi ti o ṣe akopọ si ọkan
Yiyan awọn iṣẹ ṣiṣe GELU inu awoṣe ede transformer kan fun sisan mimu dirọ
Yipada si Leaky ReLU nigbati ọpọlọpọ awọn neuronu ninu nẹtiwọọki kan ti ku ati dẹkun idahun
Awọn ewu & Awọn ọna iṣọ
Awọn ẹgbẹ oriṣiriṣi le lo ọrọ kanna ni oriṣiriṣi, nitorinaa ṣalaye iwọn ni kutukutu.
Awọn aṣepari le wo lagbara lakoko ti iṣẹ-aye gidi ko ṣe deede.
Aibikita didara data ati awọn ero igbelewọn nigbagbogbo ṣẹda awọn abajade ẹlẹgẹ.
Ilana Ilana imuse
Bẹrẹ pẹlu itumọ-ede itele ti abajade ti o nilo.
Mu metiriki aṣeyọri kan ati ipo ikuna kan ṣaaju idanwo.
Ṣiṣe awakọ kekere kan pẹlu data aṣoju, kii ṣe eto demo didan.
Iwe-ipamọ nibiti Awọn iṣẹ imuṣiṣẹ ṣe iranlọwọ ati nibiti awọn ọna ti o rọrun dara julọ.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Activation Functions quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Awọn iṣẹ pipadanu
Awọn ibeere ti a beere nigbagbogbo
What is Activation Functions?
Awọn iṣẹ imuṣiṣẹ jẹ awọn ẹnu-ọna kekere ti kii ṣe laini laarin neuron kọọkan ti o jẹ ki awọn nẹtiwọọki nkankikan kọ ẹkọ eka, awọn ilana te dipo awọn laini taara. Laisi wọn, nẹtiwọki ti o jinlẹ yoo ṣubu sinu idogba laini kan.
Kini yoo ṣẹlẹ si nẹtiwọọki ti o jinlẹ laisi awọn iṣẹ imuṣiṣẹ?
Iṣakojọpọ awọn ipele laini laisi aiṣedeede wó lulẹ ni mathematiki sinu iyipada laini kan, nitorinaa nẹtiwọọki ko le kọ ẹkọ awọn ilana eka.
Kini iṣẹ imuṣiṣẹ ReLU ṣe jade fun titẹ sii odi?
ReLU n ṣe agbejade titẹ sii nigbati rere ati odo nigbati odi, eyiti o jẹ ki o rọrun ati iyara lati ṣe iṣiro.
Kini iṣoro apanirun ti o ni nkan ṣe pẹlu sigmoid ati tanh?
Sigmoid ati tanh jẹ alapin ni awọn iwọn wọn, nitorinaa gradient wọn dinku si odo, di irẹwẹsi ifihan aṣiṣe ni awọn nẹtiwọọki ti o jinlẹ.
Iru iṣẹ imuṣiṣẹ wo ni a lo nigbagbogbo ni ipele iṣelọpọ ti olutọpa-kilasi pupọ?
Softmax ṣe iyipada awọn ikun aise sinu pinpin iṣeeṣe lori awọn kilasi ti o ṣe akopọ si ọkan, apẹrẹ fun iṣelọpọ ipin.
Kini iṣoro 'ReLU' ti o ku?
Ti neuron ReLU nigbagbogbo n gba igbewọle odi, o gbejade odo pẹlu isọdọtun odo ati pe o da imudojuiwọn duro ni imunadoko, nitorinaa 'ku.'