Повтарящи се невронни мрежи

Конвенционалната еднопосочна RNN комбинира текущия вход с предишното си скрито състояние, за да произведе ново скрито състояние. Отделно изчисление на изхода може да създаде прогноза, така че повтарящото се състояние не трябва автоматично да се нарича предишно изходно състояние на прогноза. Държавата е развиващо се представяне, а не пълно копие без загуби на всичко, което се среща. Чрез тази повтаряща се структура могат да се моделират подредени данни като текст, реч и времеви серии на сензора. Обучението обикновено използва обратно разпространение във времето, което разглежда повтарящите се повтарящи се изчисления като разгъната графика на зависимост. Умножаването на производни в много стъпки може да доведе до изчезване или експлодиране на градиенти, което затруднява обучението на зависимост на дълги разстояния. Архитектурите LSTM и GRU използват портали за регулиране на информационния поток. LSTM включва състояние на клетката и стробиране на вход, забравяне и изход; портите могат да смекчат трудностите, но не гарантират перфектна дългосрочна памет. Базираните на вниманието трансформаторни архитектури предлагат повече паралелни изчисления между тренировъчните позиции и директни взаимодействия между разрешените позиции. Генерирането на авторегресивен трансформатор все още може да продължи маркер по маркер, така че паралелното обучение не трябва да се бърка с напълно паралелното генериране. Проста линейна повторяемост илюстрира актуализациите на състоянието: h-ново е равно на половината h-предишно плюс x. С h-предишни две и x три, новото състояние е четири. Това е декларирана илюстрация, а не пълната нелинейна актуализация на всеки RNN. Състоянието на повтарящ се извод с фиксиран размер също се различава от тренировъчната памет, където съхраняването или повторното изчисляване на информация през много стъпки създава допълнителни разходи.