A continuaciónSiguiente guía
Redes de carreteras y conexiones de salto
Técnico
GUÍA Técnica
La computación de reservorios es un atajo inteligente para entrenar redes recurrentes: deje fijo un gran "depósito" de neuronas conectado aleatoriamente y entrene solo una capa de salida lineal simple.
Escuche esta guíaNarrado por IA · ~2 min
Echo State Networks es el ejemplo más conocido, ya que hace que el aprendizaje de secuencias sea rápido y económico.
Las Echo State Networks (ESN), introducidas por Herbert Jaeger alrededor de 2001, y las estrechamente relacionadas Liquid State Machines de Wolfgang Maass forman la familia denominada informática de reservorio. La idea: una red recurrente fija, inicializada aleatoriamente, proyecta una secuencia de entrada en un estado dinámico de alta dimensión. Debido a que los pesos recurrentes nunca se entrenan, se evita la lenta e inestable retropropagación a través del tiempo utilizada para RNN y LSTM. Sólo se aprenden los pesos de lectura desde el depósito hasta la salida, normalmente mediante una regresión lineal simple, que es rápida y convexa. El embalse debe satisfacer la "propiedad del estado de eco": su memoria de entradas pasadas se desvanece gradualmente, asegurando que el estado dependa de la historia reciente y no de las condiciones iniciales. Los ESN destacan en la predicción de series temporales y en el modelado de señales caóticas.
Predecir sistemas dinámicos caóticos como la serie Mackey-Glass o el atractor de Lorenz con alta precisión.
Previsión a corto plazo de carga eléctrica, señales bursátiles o series temporales relacionadas con el tiempo.
Reconocimiento de voz y fonemas utilizando una máquina de estado líquido como depósito de neuronas.
Reservorios de hardware fotónicos o basados en memristores que realizan clasificación de señales de baja potencia en el borde del sensor.
La computación de reservorios está ganando terreno en el hardware físico y neuromórfico, donde el reservorio puede ser un sistema analógico, un circuito fotónico, una matriz de memristores o incluso un balde de agua, explotando la dinámica natural para la computación de potencia ultrabaja. Los depósitos fotónicos y de picos prometen una rápida inferencia de bordes para los datos de los sensores. Si bien el aprendizaje profundo domina las grandes tareas, los métodos de depósito siguen siendo atractivos cuando los datos son escasos, la latencia y los presupuestos de energía son ajustados o se encuentran disponibles sustratos de hardware no convencionales.
Boletín gratuito
Tres noticias verificadas sobre IA cada mañana de lunes a viernes, explicadas con claridad. Gratis para siempre y sin anuncios.
Un correo cada día laborable. Date de baja con un clic. Nunca vendemos ni compartimos tu dirección.
Ponte a prueba
Corrección inmediata en cada respuesta y un certificado para compartir, con un ID verificable, cuando apruebas un curso.
Apoya la educación gratuita sobre IA. AI Understanding es una organización sin fines de lucro 501(c)(3): sin anuncios ni muros de pago, nunca. Hacer una donación
La computación de reservorios es un atajo inteligente para entrenar redes recurrentes: deje fijo un gran "depósito" de neuronas conectado aleatoriamente y entrene solo una capa de salida lineal simple. Echo State Networks es el ejemplo más conocido, ya que hace que el aprendizaje de secuencias sea rápido y económico.
Los pesos recurrentes internos del yacimiento permanecen fijos y aleatorios; sólo se entrena la lectura lineal desde el depósito hasta la salida, generalmente mediante regresión de mínimos cuadrados.
The reservoir state should become a function of the input history rather than the initial state; this is related to fading memory but states the independence condition directly.
Debido a que los pesos recurrentes son fijos, el entrenamiento se reduce a una regresión lineal rápida y convexa en lugar de una lenta e iterativa retropropagación a través del tiempo.
The guide describes scaling spectral radius just below one as a common stability heuristic; the echo state property depends on the full dynamics and inputs, not this scalar alone.
Wolfgang Maass presentó las máquinas de estado líquido, mientras que Herbert Jaeger presentó las redes Echo State; ambos caen bajo la computación de yacimientos.
sigue aprendiendo
Más guías seleccionadas para este tema.
A continuaciónSiguiente guía
Redes de carreteras y conexiones de salto
Técnico