Echo State Networks ati ifiomipamo Computing
Iṣiro ifiomipamo jẹ ọna abuja onilàkaye fun ikẹkọ awọn nẹtiwọọki loorekoore: fi “ipamọ omi” ti o tobi kan silẹ, laileto ti a ti sopọ ti awọn neuron ti o wa titi ati ki o ṣe ikẹkọ ipele iṣelọpọ laini rọrun nikan.
Akopọ
Echo State Networks are the best-known example, making sequence learning fast and cheap.
Jin Dive
Awọn Nẹtiwọọki Ipinle Echo (ESN), ti Herbert Jaeger ṣe ni ayika 2001, ati awọn ẹrọ ti Ipinle Liquid ti o ni ibatan pẹkipẹki nipasẹ Wolfgang Maass ṣe agbekalẹ idile ti a pe ni iṣiro ifiomipamo. Ero naa: ti o wa titi, laileto ipilẹṣẹ nẹtiwọọki loorekoore awọn iṣẹ akanṣe ọna titẹ sii sinu ipo agbara iwọn-giga. Nitoripe awọn iwuwo loorekoore ko ni ikẹkọ rara, o yago fun fifalẹ, isọdọtun riru-nipasẹ-akoko ti a lo fun awọn RNN ati LSTM. Awọn iwọn kika kika nikan lati ifiomipamo si iṣẹjade ni a kọ ẹkọ, ni igbagbogbo nipasẹ ipadasẹhin laini ti o rọrun, eyiti o yara ati convex. Ifiomipamo gbọdọ ni itẹlọrun 'ohun-ini ipinlẹ iwoyi': iranti rẹ ti awọn igbewọle ti o kọja ti n dinku, aridaju pe ipinlẹ naa da lori itan-akọọlẹ aipẹ ju awọn ipo ibẹrẹ lọ. Awọn ESN tayọ ni asọtẹlẹ jara-akoko ati awoṣe ifihan rudurudu.
Imọ-imọ-ẹrọ
Iduroṣinṣin duro lori rediosi spectral (eigenvalue ti o tobi julọ) ti matrix iwuwo loorekoore ifiomipamo, nigbagbogbo ni iwọn ni isalẹ 1.0. Eyi jẹ ki nẹtiwọọki naa wa ni 'eti ti rudurudu': ọlọrọ, awọn agbara aye pipẹ laisi esi salọ. Ikẹkọ dinku lati yanju iṣoro laini ti o kere ju-squares (nigbagbogbo pẹlu isọdọtun Oke) awọn ipinlẹ ifiomipamo aworan agbaye si awọn ibi-afẹde, nitorinaa ko si isọkalẹ gradient lori awọn iwuwo loorekoore ati pe ko si iṣoro-afẹfẹ-padanu.
Ipa Ilana
Iye owo ati isuna
Awọn ipinnu faaji ṣe awakọ iṣẹ ati idiyele iṣẹ fun awọn ọdun.
Awọn ipinnu diẹ sii
Ẹkọ imọ-ẹrọ ṣe iranlọwọ fun awọn ẹgbẹ lati yan akopọ to tọ, kii ṣe ọkan tuntun nikan.
Iṣakoso didara
Awọn yiyan imọ-ẹrọ to dara julọ dinku awọn iṣẹlẹ igbẹkẹle ni iṣelọpọ.
Ojo iwaju ti Awọn Nẹtiwọọki Ipinle Echo ati Iṣiro ifiomipamo
Iṣiro ifiomipamo ti wa ni nini isunki ni ti ara ati neuromorphic hardware, ibi ti awọn ifiomipamo le je ohun afọwọṣe eto, photonic Circuit, memristor orun, tabi paapa kan garawa ti omi, nilokulo adayeba dainamiki fun olekenka-kekere agbara iširo. Spiking ati photonic reservoirs ṣe ileri itọkasi eti iyara fun data sensọ. Lakoko ti ẹkọ ti o jinlẹ jẹ gaba lori awọn iṣẹ ṣiṣe nla, awọn ọna ifiomipamo wa ni iwunilori nibiti data ti ṣọwọn, lairi ati awọn isuna agbara agbara ni lile, tabi awọn sobusitireti ohun elo aiṣedeede wa.
Real-World imuse
Asọtẹlẹ awọn ọna ṣiṣe agbara rudurudu bii jara Mackey-Glass tabi ifamọra Lorenz pẹlu iṣedede giga.
Asọtẹlẹ igba kukuru ti fifuye ina, awọn ifihan agbara ọja, tabi jara akoko ti o jọmọ oju ojo.
Ọrọ sisọ ati idanimọ foonu nipa lilo Ẹrọ Ipinle Liquid kan gẹgẹbi ifiomipamo neuron spiking-neuron.
Photonic tabi memristor-orisun hardware reservoirs sise kekere-agbara ifihan classification ni eti sensọ.
Awọn ewu & Awọn ọna iṣọ
Ṣiṣepe ala-ilẹ kan le tọju awọn ailagbara eto ti o gbooro.
Awọn ohun elo amayederun ati awọn idiyele itọju nigbagbogbo ni aibikita.
Aabo ati awọn ela akiyesi le dagba bi awọn eto ṣe di eka sii.
Ilana Ilana imuse
Ṣetumo lairi, didara, ati awọn ibi-afẹde idiyele ṣaaju imuse.
Aṣepari labẹ ẹru ojulowo ati awọn ipo data.
Abojuto ohun elo fun awọn aṣiṣe, fiseete, ati ipa olumulo.
Mura ipadasẹhin pada ati awọn ipa ọna esi iṣẹlẹ ṣaaju iwọn.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Echo State Networks and Reservoir Computing quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Awọn nẹtiwọki Opopona ati Rekọja Awọn isopọ
Awọn ibeere ti a beere nigbagbogbo
What is Echo State Networks and Reservoir Computing?
Iṣiro ifiomipamo jẹ ọna abuja onilàkaye fun ikẹkọ awọn nẹtiwọọki loorekoore: fi “ipamọ omi” ti o tobi kan silẹ, laileto ti a ti sopọ ti awọn neuron ti o wa titi ati ki o ṣe ikẹkọ ipele iṣelọpọ laini rọrun nikan. Awọn Nẹtiwọọki Ipinle Echo jẹ apẹẹrẹ ti a mọ julọ, ṣiṣe kikọ ẹkọ lẹsẹsẹ ni iyara ati olowo poku.
Ninu Nẹtiwọọki Ipinle Echo, awọn iwuwo wo ni o jẹ ikẹkọ gangan?
Awọn òṣuwọn loorekoore inu ti inu ifiomipamo duro ti o wa titi ati laileto; nikan ni laini readout lati ifiomipamo to o wu ti wa ni oṣiṣẹ, nigbagbogbo nipa kere-squares padasẹyin.
Kini 'ohun-ini ipinle iwoyi' ti omi ifiomipamo gbọdọ ni itẹlọrun?
Ohun-ini ipinlẹ iwoyi nbeere pe iranti ifiomipamo ti awọn igbewọle iṣaaju ati awọn ipo ibẹrẹ ni fifọ jade ni akoko pupọ, nitorinaa ipinlẹ ṣe afihan itan-akọọlẹ aipẹ.
Kini idi ti ikẹkọ ESN yiyara ju ikẹkọ LSTM boṣewa kan?
Nitoripe awọn iwuwo loorekoore jẹ ti o wa titi, ikẹkọ dinku si iyara, ipadasẹhin laini convex dipo ti o lọra, itusilẹ aṣetunṣe-nipasẹ-akoko.
Eyi ti ohun ini ti awọn ifiomipamo iwuwo matrix ti wa ni aifwy lati jẹ ki awọn dainamiki duro sugbon ọlọrọ?
Ṣiṣeto rediosi spectral (iwọn eigenvalue ti o tobi julọ) die-die labẹ 1 ntọju ifiomipamo nitosi 'eti Idarudapọ' pẹlu iranti idinku ti o wulo.
Awọn ẹrọ Ipinle Liquid, fọọmu spiking-neuron kan ti iširo ifiomipamo, nipasẹ tani?
Wolfgang Maass ṣe afihan Awọn ẹrọ Ipinle Liquid, lakoko ti Herbert Jaeger ṣe afihan Awọn nẹtiwọki Ipinle Echo; mejeeji ṣubu labẹ ifiomipamo iširo.