VolgendeVolgende gids
Snelwegnetwerken en skip-verbindingen
Technisch
Technische GIDS
Reservoir computing is een slimme manier om terugkerende netwerken te trainen: laat een groot, willekeurig verbonden 'reservoir' van neuronen vast en train alleen een eenvoudige lineaire uitvoerlaag.
Luister naar deze gidsAI-verteld · ~2 min
Echo State Networks zijn het bekendste voorbeeld, waardoor het leren van reeksen snel en goedkoop is.
Echo State Networks (ESN's), geïntroduceerd door Herbert Jaeger rond 2001, en de nauw verwante Liquid State Machines van Wolfgang Maass vormen de familie die reservoir computing wordt genoemd. Het idee: een vast, willekeurig geïnitialiseerd terugkerend netwerk projecteert een invoerreeks in een hoogdimensionale dynamische toestand. Omdat de terugkerende gewichten nooit worden getraind, vermijdt u de langzame, onstabiele terugpropagatie door de tijd die wordt gebruikt voor RNN's en LSTM's. Alleen de uitleesgewichten van reservoir tot output worden geleerd, meestal door eenvoudige lineaire regressie, die snel en convex is. Het reservoir moet voldoen aan de 'echostaatseigenschap': de herinnering aan eerdere inputs vervaagt geleidelijk, waardoor de staat afhankelijk is van de recente geschiedenis in plaats van van initiële omstandigheden. ESN's blinken uit in tijdreeksvoorspellingen en chaotische signaalmodellering.
Voorspellen van chaotische dynamische systemen zoals de Mackey-Glass-serie of Lorenz-attractor met hoge nauwkeurigheid.
Kortetermijnvoorspellingen van de elektriciteitsbelasting, voorraadsignalen of weergerelateerde tijdreeksen.
Spraak- en foneemherkenning met behulp van een Liquid State Machine als reservoir voor piekneuronen.
Fotonische of op memristor gebaseerde hardwarereservoirs die signaalclassificatie met laag vermogen uitvoeren aan de sensorrand.
Reservoir computing wint terrein in fysieke en neuromorfe hardware, waarbij het reservoir een analoog systeem, een fotonisch circuit, een memristorarray of zelfs een emmer water kan zijn, waarbij de natuurlijke dynamiek wordt benut voor berekeningen met ultralaag vermogen. Spiking- en fotonische reservoirs beloven snelle edge-inferentie voor sensorgegevens. Terwijl deep learning grote taken domineert, blijven reservoirmethoden aantrekkelijk wanneer gegevens schaars zijn, latentie- en energiebudgetten krap zijn, of onconventionele hardwaresubstraten beschikbaar zijn.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
Reservoir computing is een slimme manier om terugkerende netwerken te trainen: laat een groot, willekeurig verbonden 'reservoir' van neuronen vast en train alleen een eenvoudige lineaire uitvoerlaag. Echo State Networks zijn het bekendste voorbeeld, waardoor het leren van reeksen snel en goedkoop is.
De interne terugkerende gewichten van het reservoir blijven vast en willekeurig; alleen de lineaire uitlezing van reservoir naar uitgang wordt getraind, meestal door regressie met de kleinste kwadraten.
The reservoir state should become a function of the input history rather than the initial state; this is related to fading memory but states the independence condition directly.
Omdat terugkerende gewichten vast zijn, wordt training gereduceerd tot een snelle, convexe lineaire regressie in plaats van een langzame, iteratieve terugpropagatie door de tijd.
The guide describes scaling spectral radius just below one as a common stability heuristic; the echo state property depends on the full dynamics and inputs, not this scalar alone.
Wolfgang Maass introduceerde Liquid State Machines, terwijl Herbert Jaeger Echo State Networks introduceerde; beide vallen onder reservoir computing.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
Snelwegnetwerken en skip-verbindingen
Technisch