DalšíDalší průvodce
Dálniční sítě a přeskočit připojení
Technický
Technický PRŮVODCE
Reservoir computing je chytrou zkratkou pro trénování rekurentních sítí: ponechte velký, náhodně propojený „rezervoár“ neuronů fixní a trénujte pouze jednoduchou lineární výstupní vrstvu.
Poslechněte si tento návodAI-vyprávěný · ~2 min
Echo State Networks are the best-known example, making sequence learning fast and cheap.
Echo State Networks (ESN), které představil Herbert Jaeger kolem roku 2001, a úzce související Liquid State Machines od Wolfganga Maasse tvoří rodinu nazývanou rezervoárové výpočty. Myšlenka: pevná, náhodně inicializovaná rekurentní síť promítá vstupní sekvenci do vysokorozměrného dynamického stavu. Protože opakující se závaží nejsou nikdy trénovány, vyhnete se pomalému a nestabilnímu zpětnému šíření v čase používaném pro RNN a LSTM. Zjišťují se pouze naměřené hmotnosti od zásobníku k výstupu, obvykle jednoduchou lineární regresí, která je rychlá a konvexní. Nádrž musí splňovat „vlastnost stavu ozvěny“: její paměť na minulé vstupy postupně mizí, což zajišťuje, že stav závisí spíše na nedávné historii než na počátečních podmínkách. ESN vynikají v predikci časových řad a modelování chaotického signálu.
Předpovídání chaotických dynamických systémů, jako je řada Mackey-Glass nebo Lorenzův atraktor, s vysokou přesností.
Krátkodobá předpověď zatížení elektřinou, zásobové signály nebo časové řady související s počasím.
Rozpoznávání řeči a fonémů pomocí zařízení Liquid State Machine jako rezervoáru spiking-neuron.
Fotonické nebo memristorové hardwarové zásobníky provádějící klasifikaci signálu s nízkou spotřebou na okraji snímače.
Reservoir computing získává na síle ve fyzickém a neuromorfním hardwaru, kde rezervoárem může být analogový systém, fotonický obvod, memristorové pole nebo dokonce vědro vody, využívající přirozenou dynamiku pro výpočty s velmi nízkou spotřebou. Hrotové a fotonické zásobníky slibují rychlé vyvození hran pro data ze senzorů. Zatímco hluboké učení dominuje velkým úkolům, metody rezervoáru zůstávají atraktivní tam, kde je nedostatek dat, latence a energetické rozpočty jsou omezené nebo jsou k dispozici nekonvenční hardwarové substráty.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Reservoir computing je chytrou zkratkou pro trénování rekurentních sítí: ponechte velký, náhodně propojený „rezervoár“ neuronů fixní a trénujte pouze jednoduchou lineární výstupní vrstvu. Echo State Networks jsou nejznámějším příkladem, díky kterému je sekvenční učení rychlé a levné.
Vnitřní opakující se váhy rezervoáru zůstávají pevné a náhodné; trénuje se pouze lineární odečet od zásobníku k výstupu, obvykle regresí nejmenších čtverců.
The reservoir state should become a function of the input history rather than the initial state; this is related to fading memory but states the independence condition directly.
Protože jsou opakující se váhy fixní, trénink se redukuje na rychlou, konvexní lineární regresi namísto pomalého, iterativního zpětného šíření v čase.
The guide describes scaling spectral radius just below one as a common stability heuristic; the echo state property depends on the full dynamics and inputs, not this scalar alone.
Wolfgang Maass představil Liquid State Machines, zatímco Herbert Jaeger představil Echo State Networks; oba spadají pod rezervoárové výpočty.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Dálniční sítě a přeskočit připojení
Technický