Kini o ṣẹlẹ
Awọn oniwadi Chengkuo Bian ati Pengcheng Xie ṣe agbekalẹ ilana kan fun ṣiṣe alaye idi ti awọn oniwadi-nẹtiwọọki neural ṣe awọn abajade aisedede ni iṣapeye-ọfẹ itọsẹ. Atẹjade wọn ṣe idanimọ awọn ifosiwewe mẹta: ipa ti abẹlẹ, agbegbe ti o gbẹkẹle, ati bii ilọsiwaju ti ọna iṣapeye ti o le tun ṣe.
Atẹjade iṣaaju ti a fi silẹ si arXiv ni Oṣu Kẹjọ Ọjọ 25 ṣe ayẹwo iṣoro loorekoore ni iṣapeye ti ẹrọ-ẹkọ-iranlọwọ: awọn apanirun ti iṣan nigbakan dinku nọmba awọn igbelewọn ohun to gbowolori, ṣugbọn ni awọn eto miiran fi iṣẹ silẹ ko yipada tabi jẹ ki o buru. Awọn onkọwe jiyan pe ilodi ti o han gbangba yii jẹ alaye nipasẹ awọn ipo mẹta ju nipa deede deede nikan. Iwe naa dojukọ iṣapeye-ọfẹ itọsẹ, nibiti kan ti n wa awọn ojutu ti o dara laisi lilo awọn itọsẹ taara ti iṣẹ idi.
Ipo akọkọ jẹ nipa ipa ti abẹlẹ. Gẹgẹbi áljẹbrà, awoṣe ikẹkọ jẹ iwulo nigbati o ba gbero awọn aaye oludije pe iṣẹ ibi-afẹde otitọ tun ṣe iṣiro ati fọwọsi. O jẹ ipalara nigbati o rọpo gradient lori eyiti ọna iṣapeye da lori. Awọn onkọwe ṣe agbekalẹ iyatọ yii ati sọ pe wọn ṣe idanwo awọn ifosiwewe lakoko ti o di kilasi surrogate, opo gigun ti ikẹkọ, ati ọna ipilẹ ti o wa titi. Orisun naa ko ṣe pato awọn awoṣe tabi awọn ọna ninu áljẹbrà rẹ.
Awọn ipo keji ati kẹta kan kan agbegbe ati yara ori ti o wa. Awoṣe ti a kọ ni ọna iṣapeye jẹ apejuwe bi igbẹkẹle nikan inu agbegbe ti o ni opin, pẹlu aṣiṣe rẹ ko parẹ laifọwọyi bi agbegbe ti n dinku tabi ti o ku ni igbẹkẹle bi o ti n gbooro. Awọn onkọwe tun jiyan pe aropo kan le mu ilọsiwaju pọ si nikan ti ọna ipilẹ tun lagbara lati ṣe. Wọn ṣe ijabọ awọn iṣẹlẹ ala-ilẹ 117, nibiti iranlọwọ aabo ti gbe nọmba ti a yanju si deede giga lati 67 si 84. Nipa iyatọ, rirọpo gradient silẹ abajade si 65. Afoyemọ naa tun ṣe ijabọ pe yiyọ ọrọ gradient kuro ninu pipadanu ikẹkọ dinku gbigba aropo lati 0.703 si 0.148.
Awọn alaye orisun: arxiv.org ↗
Kini idi ti o ṣe pataki
Iṣẹ naa nfunni ni ikilọ ilowo lodi si atọju deede ikẹkọ bi iwọn iwulo to to. Ni ipilẹ ala ti awọn onkọwe, iranlọwọ alabojuto aabo ti pọ si nọmba awọn ojutu pipe-giga lati 67 si 84 ninu awọn iṣẹlẹ 117, lakoko ti o rọpo awọn gradients dinku abajade yẹn si 65.
Iṣeduro agbedemeji iwe jẹ iwadii aisan: o fun awọn oṣiṣẹ ni ọna lati beere nigbati isunmọ nkankikan le ṣe iranlọwọ ṣaaju ṣiṣe itọju rẹ bi rirọpo gbogbogbo fun paati imudara. Iyatọ laarin awọn oludije igbero ati rirọpo awọn gradients jẹ pataki ni pataki nitori awoṣe ikẹkọ kanna le ni awọn ipa oriṣiriṣi ti o da lori bii o ṣe sopọ si olutayo. Awọn abajade ti a royin daba pe apẹrẹ wiwo le ṣe pataki bi ibamu awoṣe.
Awọn nọmba ala ṣe afihan ipa ti o nilari ni o kere ju eto idanwo naa. Gbigbe lati 67 si 84 awọn solusan išedede giga kọja awọn iṣẹlẹ 117 jẹ iyipada nla ju atunṣe atunṣe kekere, ni ibamu si áljẹbrà. Iyipada oṣuwọn gbigba ti a royin, lati 0.703 si 0.148 lẹhin yiyọkuro ọrọ ikẹkọ ti o ni ibatan gradient, bakanna ṣe atilẹyin ẹtọ awọn onkọwe pe ibi-afẹde ikẹkọ ni ipa lori boya oluyanju yoo lo aropo naa. Iwọnyi jẹ awọn ẹtọ ti a ṣe nipasẹ atẹjade, kii ṣe awọn awari ti o ni idaniloju ominira.
Awọn ifilelẹ ti wa ni se pataki. Afoyemọ naa ko sọ bi a ṣe yan awọn iṣẹlẹ 117, kini “ipeye giga” tumọ si, melo ni awọn idanwo ti o ṣiṣẹ fun apẹẹrẹ, tabi boya ilọsiwaju naa ni idanwo iṣiro. O tun ko fi idi rẹ mulẹ pe awọn nẹtiwọọki nkankikan ju awọn abẹla ti kii ṣe nkankikan lọ, pe ọna naa n ṣiṣẹ ni awọn eto iṣelọpọ, tabi pe o dinku awọn idiyele gidi-aye ni gbogbogbo. Orisun naa ṣe ijabọ apẹẹrẹ atokọ ọja Monte Carlo kan ninu eyiti atunṣe wiwo gbigba jẹ tọ awọn iwọn idiyele 10.40 lakoko ti o jẹ aropo nikan ni tọ 0.00, ni tẹnumọ pe iyipada imuse le jẹ diẹ niyelori ju fifi awoṣe kọ ẹkọ lọ.
Ibaraẹnisọrọ Mechanism: Bii O Ṣe Nṣiṣẹ Lootọ
Ṣawari imọ-ẹrọ abẹlẹ lẹhin idagbasoke yii ni ibaraenisọrọ.
Which component of an AI application is the machine-learning model itself?
Kini lati wo tókàn
Awọn awari naa wa lati inu iwe atẹlẹsẹ kan ti a fi silẹ ati áljẹbrà rẹ ko ṣe idanimọ awọn apẹẹrẹ ala, awọn ọna ipilẹ, faaji awoṣe, tabi itupalẹ iṣiro kikun. Idanwo siwaju yoo nilo lati pinnu bi ipa ti a dabaa, rediosi, ati awọn ipo yara ṣe lo jakejado awọn iṣoro iṣapeye ati awọn imuse.
Awọn onkọwe jabo pe 1,000 awọn afiwera ti o so pọ kọja awọn ipele ariwo 10 ko rii ẹnu-ọna ariwo ti o yapa aṣeyọri lati ikuna. Dipo, wọn sọ opin ti a ṣe akiyesi si ọna ipilẹ ti o duro ni kutukutu. Eyi jẹ iyatọ ti o wulo: awọn ibi-afẹde alariwo le ma ṣe ipinnu funrara wọn boya aropo kan sanwo, lakoko ti ihuwasi idaduro olutayo le ṣe idiwọ eyikeyi ere ti o ṣeeṣe. Afoyemọ naa ko pese awọn pinpin ariwo, awọn ibeere idaduro, tabi iwọn ipa ti a royin kọọkan.
Iwe naa tun ṣe ijabọ abajade ti o kere ju nigbati o ba somọ surrogate kanna si oluyanju-agbegbe igbẹkẹle ti o da lori awoṣe: nọmba awọn ọran ti o yanju ṣubu lati 88 si 86. Sọfitiwia interpolation ti o tu silẹ wa niwaju ni 103, ni ibamu si abọtẹlẹ naa. Awọn afiwera wọnyi daba pe fifi afikun alarọpo kan ko ni ilọsiwaju laifọwọyi ọna ipilẹ to lagbara ati pe o le fa awọn idiyele nigbati olutayo to wa tẹlẹ fi aaye kekere silẹ fun isare. Orisun naa ko ṣe idanimọ sọfitiwia naa, awọn ofin iwe-aṣẹ, agbegbe asiko asiko, tabi boya awọn afiwera lo awọn isuna iṣiro kanna.
Awọn ibeere ijẹrisi atẹle jẹ ọna-ọna ati ilowo. Awọn oluka yoo nilo iwe ni kikun, pseudocode afikun, koodu, ati awọn abajade aise lati ṣayẹwo ikole ala-ilẹ, ikẹkọ awoṣe, awọn ofin gbigba, awọn idiyele iṣiro, ati ifamọ si awọn hyperparameters. Wọn yoo tun nilo atunṣe kọja awọn iṣẹ ibi-afẹde miiran, awọn idile olutayo, awọn iwọn, ati awọn ẹru iṣẹ ṣiṣe ẹrọ gidi. Titi di igba naa, ipari ti o ni atilẹyin ti o lagbara julọ jẹ majemu: iwe-iṣaawe yii ṣafihan ẹri pe awọn abẹfẹlẹ nkankikan le ṣe iranlọwọ iṣapeye agbegbe nigbati ipa wọn, redio iṣẹ, ati ibaraenisepo pẹlu ọna ipilẹ jẹ iṣakoso ni pẹkipẹki, kii ṣe ẹri pe wọn jẹ anfani jakejado nipasẹ aiyipada.