Клетки долговременной кратковременной памяти
Ячейки долговременной краткосрочной памяти (LSTM) представляют собой особый вид рекуррентной нейронной сети, созданной для запоминания информации в длинных последовательностях.
Обзор
They solved the vanishing-gradient problem that crippled earlier RNNs, powering a decade of breakthroughs in language, speech, and translation.
Глубокое погружение
Ячейка LSTM, представленная Зеппом Хохрайтером и Юргеном Шмидхубером в 1997 году, поддерживает «состояние ячейки», которое действует как конвейер памяти, проходящий через последовательность. Ею управляют три обученных вентиля: вентиль забывания решает, что стереть, входной вентиль решает, какую новую информацию хранить, а выходной вентиль решает, что представить в качестве выходных данных ячейки. Каждый вентиль использует сигмовидную форму (выводящую от 0 до 1) в качестве мягкого переключателя. Поскольку состояние ячейки обновляется в основном путем сложения, а не повторного умножения, градиенты могут течь назад на множество временных шагов, не уменьшаясь до нуля, позволяя LSTM изучать зависимости на расстоянии в сотни шагов. До появления Transformers LSTM лежали в основе Google перевода, распознавания речи и генерации текста.
Техническая информация
Исправление исчезающего градиента происходит из-за почти линейного обновления состояния ячейки: c_t = f_t * c_{t-1} + i_t * g_t. Ворота забывания f_t (сигмоида) может оставаться около 1, создавая «карусель постоянных ошибок», поэтому сигналы ошибок выдерживают обратное распространение во времени на длинных промежутках времени. Ворота сами по себе представляют собой небольшие нейронные слои (сигмовидная ветвь для шлюзования, танх для значений-кандидатов), все они обучаются совместно методом градиентного спуска. Этот шлюз позволяет сети узнать, что сохранить, а что отбросить.
Стратегическое воздействие
Более четкие решения
Это поможет вам отделить четкие технические заявления от маркетингового языка.
Стоимость и бюджет
Вы можете задать более эффективные вопросы по реализации, прежде чем тратить деньги или время.
Команда и рабочий процесс
Команды с общим пониманием принимают более эффективные решения по продуктам, политике и обучению.
Будущее ячеек долговременной краткосрочной памяти
Трансформаторы в значительной степени обогнали LSTM для крупномасштабных языковых задач, поскольку они распараллеливают последовательность и захватывают дальний контекст посредством внимания, тогда как LSTM обрабатывают токены один шаг за раз. Тем не менее, LSTM остаются ценными для потоковой передачи, низкой задержки и настроек с ограниченными ресурсами, а также для скромных данных временных рядов. Недавние работы, такие как xLSTM (2024), пересматривают и модернизируют архитектуру с помощью новых вентилей и памяти, чтобы конкурировать в масштабе, показывая, что идея еще не завершена.
Реальная реализация
Использование машинного перевода в ранней нейронной системе Google Translate до того, как Трансформеры пришли к власти.
Распознавание речи в текст в голосовых помощниках и программах для диктовки.
Прогнозирование будущих значений во временных рядах, таких как спрос на энергию, показания датчиков или цены на акции.
Генерация текста или музыки по одному токену за раз и автозаполнение последовательностей.
Риски и ограничения
Разные команды могут использовать один и тот же термин по-разному, поэтому заранее определите масштаб.
Тесты могут выглядеть сильными, в то время как реальная производительность неравномерна.
Игнорирование качества данных и планов оценки часто приводит к нестабильным результатам.
Дорожная карта реализации
Начните с простого определения желаемого результата.
Перед тестированием выберите один показатель успеха и одно условие отказа.
Запустите небольшой пилотный проект с репрезентативными данными, а не отточенный демонстрационный набор.
Документируйте, где помогают ячейки кратковременной памяти и где более простые методы лучше.
Продолжайте исследовать
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Long Short-Term Memory Cells quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Следующее руководство
Управление памятью графического процессора и фрагментация
Часто задаваемые вопросы
What is Long Short-Term Memory Cells?
Ячейки долговременной краткосрочной памяти (LSTM) представляют собой особый вид рекуррентной нейронной сети, созданной для запоминания информации в длинных последовательностях. Они решили проблему исчезающего градиента, которая парализовала ранние RNN, что послужило основой десятилетних прорывов в области языка, речи и перевода.
Какие три вентиля контролируют поток информации в стандартной ячейке LSTM?
LSTM использует вентиль забывания (что стереть), входной вентиль (что хранить) и выходной вентиль (что раскрыть), каждый из которых представляет собой изученную сигмоиду.
Какую серьезную проблему с более ранними RNN решили LSTM?
Стандартные RNN страдают от исчезающих градиентов, которые препятствуют изучению долгосрочных зависимостей; Аддитивное состояние ячейки LSTM позволяет сохранять градиенты.
Кто представил LSTM и в каком году?
Зепп Хохрайтер и Юрген Шмидхубер опубликовали LSTM в 1997 году.
Почему состояние ячейки LSTM помогает градиентам сохраняться на протяжении многих временных шагов?
Аддитивное обновление («карусель постоянных ошибок») позволяет избежать повторяющихся умножений, которые уменьшают градиенты, поэтому сигналы ошибок возвращаются обратно через большие промежутки времени.
Какую функцию активации обычно используют ворота LSTM в качестве программных переключателей включения/выключения?
Гейтс использует сигмоиду, выходной сигнал которой от 0 до 1 масштабирует объем передаваемой информации, действуя как программный переключатель.