LegközelebbKövetkező útmutató
Autópálya-hálózatok és kapcsolatok kihagyása
Műszaki
Műszaki ÚTMUTATÓ
A tározószámítás egy okos parancsikon az ismétlődő hálózatok betanításához: hagyjon rögzítve egy nagy, véletlenszerűen összekapcsolt neuron „tartályt”, és csak egy egyszerű lineáris kimeneti réteget képezzen.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
Az Echo State Networks a legismertebb példa, amely gyors és olcsó szekvencia-tanulást tesz lehetővé.
A Herbert Jaeger által 2001 körül bevezetett Echo State Networks (ESN) és a szorosan kapcsolódó, Wolfgang Maass által készített Liquid State Machines alkotják a reservoir computing nevű családot. Az ötlet: egy rögzített, véletlenszerűen inicializált ismétlődő hálózat egy bemeneti sorozatot nagy dimenziós dinamikus állapotba vetít. Mivel az ismétlődő súlyokat soha nem edzik, elkerülheti az RNN-ekhez és LSTM-ekhez használt lassú, instabil visszaterjedési időt. Csak a tartálytól a kimenetig terjedő kiolvasási súlyok tanulhatók meg, jellemzően egyszerű lineáris regresszióval, amely gyors és konvex. A tározónak ki kell elégítenie a „visszhangállapot-tulajdonságot”: a múltbeli bemenetek emlékezete fokozatosan elhalványul, biztosítva, hogy az állapot inkább a közelmúlttól függ, mint a kezdeti feltételektől. Az ESN-ek kiválóak az idősoros előrejelzésben és a kaotikus jelmodellezésben.
A kaotikus dinamikus rendszerek, például a Mackey-Glass sorozat vagy a Lorenz attraktor nagy pontosságú előrejelzése.
Villamos terhelés, készletjelek vagy időjárással kapcsolatos idősorok rövid távú előrejelzése.
Beszéd- és fonémafelismerés folyékony állapotú gép segítségével tüske-neuron tárolóként.
Fotonikus vagy memrisztor alapú hardvertárolók, amelyek kis teljesítményű jelosztályozást végeznek az érzékelő szélén.
A tározós számítástechnika egyre nagyobb teret hódít a fizikai és neuromorf hardverekben, ahol a tározó lehet analóg rendszer, fotonikus áramkör, memrisztor tömb vagy akár egy vödör víz, a természetes dinamikát kihasználva az ultraalacsony fogyasztású számításokhoz. A tüskés és fotonikus tartályok gyors élkövetkeztetést ígérnek az érzékelőadatokhoz. Míg a mély tanulás uralja a nagy feladatokat, a tároló módszerek vonzóak maradnak ott, ahol kevés az adat, szűkös a késleltetés és az energiaköltség, vagy nem szokványos hardverhordozók állnak rendelkezésre.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A tározószámítás egy okos parancsikon az ismétlődő hálózatok betanításához: hagyjon rögzítve egy nagy, véletlenszerűen összekapcsolt neuron „tartályt”, és csak egy egyszerű lineáris kimeneti réteget képezzen. Az Echo State Networks a legismertebb példa, amely gyors és olcsó szekvencia-tanulást tesz lehetővé.
A tározó belső ismétlődő súlyai rögzítettek és véletlenszerűek maradnak; csak a tartálytól a kimenetig tartó lineáris leolvasást tanítja, általában a legkisebb négyzetek regressziójával.
The reservoir state should become a function of the input history rather than the initial state; this is related to fading memory but states the independence condition directly.
Mivel az ismétlődő súlyok rögzítettek, az edzés gyors, konvex lineáris regresszióra redukálódik a lassú, iteratív visszaterjedési idő helyett.
The guide describes scaling spectral radius just below one as a common stability heuristic; the echo state property depends on the full dynamics and inputs, not this scalar alone.
Wolfgang Maass a Liquid State Machines, míg Herbert Jaeger az Echo State Networks; mindkettő a tározószámítás alá tartozik.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Autópálya-hálózatok és kapcsolatok kihagyása
Műszaki