Обзор
Ячейки долговременной краткосрочной памяти (LSTM) представляют собой особый вид рекуррентной нейронной сети, созданной для запоминания информации в длинных последовательностях. Они решили проблему исчезающего градиента, которая парализовала ранние RNN, что послужило основой десятилетних прорывов в области языка, речи и перевода.
Ячейки долговременной краткосрочной памяти входят в основной набор инструментов искусственного интеллекта. Когда вы это поймете, другие темы ИИ станет легче оценивать и сравнивать.
Глубокое погружение
Ячейка LSTM, представленная Зеппом Хохрайтером и Юргеном Шмидхубером в 1997 году, поддерживает «состояние ячейки», которое действует как конвейер памяти, проходящий через последовательность. Ею управляют три обученных вентиля: вентиль забывания решает, что стереть, входной вентиль решает, какую новую информацию хранить, а выходной вентиль решает, что представить в качестве выходных данных ячейки. Каждый вентиль использует сигмовидную форму (выводящую от 0 до 1) в качестве мягкого переключателя. Поскольку состояние ячейки обновляется в основном путем сложения, а не повторного умножения, градиенты могут течь назад на множество временных шагов, не уменьшаясь до нуля, позволяя LSTM изучать зависимости на расстоянии в сотни шагов. До появления Transformers LSTM лежали в основе Google перевода, распознавания речи и генерации текста.
Техническая информация
Исправление исчезающего градиента происходит из-за почти линейного обновления состояния ячейки: c_t = f_t * c_{t-1} + i_t * g_t. Ворота забывания f_t (сигмоида) может оставаться около 1, создавая «карусель постоянных ошибок», поэтому сигналы ошибок выдерживают обратное распространение во времени на длинных промежутках времени. Ворота сами по себе представляют собой небольшие нейронные слои (сигмовидная ветвь для шлюзования, танх для значений-кандидатов), все они обучаются совместно методом градиентного спуска. Этот шлюз позволяет сети узнать, что сохранить, а что отбросить.
Освоение ячеек долговременной краткосрочной памяти
Ячейки долговременной краткосрочной памяти (LSTM) представляют собой особый вид рекуррентной нейронной сети, созданной для запоминания информации в длинных последовательностях. Они решили проблему исчезающего градиента, которая парализовала ранние RNN, что послужило основой десятилетних прорывов в области языка, речи и перевода. Ячейки долговременной краткосрочной памяти входят в основной набор инструментов искусственного интеллекта. Когда вы это поймете, другие темы ИИ станет легче оценивать и сравнивать. Чтобы достичь глубокого понимания, рассматривайте ячейки долговременной краткосрочной памяти как операционную модель, а не как отдельную функцию: определите желаемые результаты, проясните предположения и отделите то, что система может делать надежно, от того, что все еще требует экспертной оценки.
На практике сильные команды, использующие ячейки долговременной краткосрочной памяти, сначала создают надежные концептуальные модели, а затем сопоставляют эти модели с реальными производственными ограничениями. Они документируют явные критерии успеха, проводят тестирование на основе реалистичных данных и рабочих процессов, а также выполняют итерации на основе наблюдаемых моделей неудач, а не разовых побед в тестах. Именно здесь теоретическое понимание превращается в прочные возможности в отношении продукта, политики и операций.
Это поможет вам отделить четкие технические заявления от маркетингового языка. В то же время разные команды могут использовать один и тот же термин по-разному, поэтому заранее определите масштаб. Самый устойчивый подход — сочетать скорость экспериментирования с дисциплиной управления: запускать пилотные проекты, собирать доказательства, публиковать журналы решений и постоянно обновлять меры безопасности по мере развития поведения модели, ожиданий пользователей и нормативных требований.
Стратегическое воздействие
Это поможет вам отделить четкие технические заявления от маркетингового языка.
Это поможет вам отделить четкие технические заявления от маркетингового языка. В высококачественных развертываниях это выражается в измеримых рабочих правилах, границах владения и повторяющихся ритуалах проверки, что позволяет командам повышать уверенность, а не увеличивать двусмысленность.
Вы можете задать более эффективные вопросы по реализации, прежде чем тратить деньги или время.
Вы можете задать более эффективные вопросы по реализации, прежде чем тратить деньги или время. В высококачественных развертываниях это выражается в измеримых рабочих правилах, границах владения и повторяющихся ритуалах проверки, что позволяет командам повышать уверенность, а не увеличивать двусмысленность.
Команды с общим пониманием принимают более эффективные решения по продуктам, политике и обучению.
Команды с общим пониманием принимают более эффективные решения по продуктам, политике и обучению. В высококачественных развертываниях это выражается в измеримых рабочих правилах, границах владения и повторяющихся ритуалах проверки, что позволяет командам повышать уверенность, а не увеличивать двусмысленность.
Реальная реализация
Использование машинного перевода в ранней нейронной системе Google Translate до того, как Трансформеры пришли к власти.
Распознавание речи в текст в голосовых помощниках и программах для диктовки.
Прогнозирование будущих значений во временных рядах, таких как спрос на энергию, показания датчиков или цены на акции.
Генерация текста или музыки по одному токену за раз и автозаполнение последовательностей.
Шаблоны реализации
Ячейки долговременной краткосрочной памяти на практике
Использование машинного перевода в ранней нейронной системе Google Translate до того, как Трансформеры пришли к власти.
Использование машинного перевода на ранних этапах Google Нейронная система Translate до того, как к власти пришли Трансформеры. Команды обычно добиваются лучших результатов, если заранее определяют пороговые значения качества, сохраняют путь эскалации с участием человека для крайних случаев и отслеживают как рост производительности, так и затраты на ошибки с течением времени.
Ячейки долговременной краткосрочной памяти на практике
Распознавание речи в текст в голосовых помощниках и программах для диктовки.
Распознавание речи в текст с помощью голосовых помощников и программного обеспечения для диктовки. Команды обычно получают лучшие результаты, если заранее определяют пороговые значения качества, сохраняют путь человеческой эскалации для крайних случаев и отслеживают как рост производительности, так и затраты на ошибки с течением времени.
Ячейки долговременной краткосрочной памяти на практике
Прогнозирование будущих значений во временных рядах, таких как спрос на энергию, показания датчиков или цены на акции.
Прогнозирование будущих значений во временных рядах, таких как спрос на энергию, показания датчиков или цены на акции. Команды обычно получают лучшие результаты, когда заранее определяют пороговые значения качества, сохраняют путь человеческой эскалации для крайних случаев и отслеживают как рост производительности, так и затраты на ошибки с течением времени.
Ячейки долговременной краткосрочной памяти на практике
Генерация текста или музыки по одному токену за раз и автозаполнение последовательностей.
Генерация текста или музыки по одному токену и автозаполнение последовательностей. Команды обычно добиваются лучших результатов, если заранее определяют пороговые значения качества, сохраняют возможность человеческой эскалации для крайних случаев и отслеживают как рост производительности, так и затраты на ошибки с течением времени.
Риски и ограничения
Разные команды могут использовать один и тот же термин по-разному, поэтому заранее определите масштаб.
Тесты могут выглядеть сильными, в то время как реальная производительность неравномерна.
Игнорирование качества данных и планов оценки часто приводит к нестабильным результатам.
Дорожная карта реализации
Начните с простого определения желаемого результата.
Начните с простого определения желаемого результата. Относитесь к каждому шагу как к доказательству: если критерии не выполняются, приостановите внедрение, ликвидируйте пробел и только затем расширяйте использование.
Перед тестированием выберите один показатель успеха и одно условие отказа.
Перед тестированием выберите один показатель успеха и одно условие отказа. Относитесь к каждому шагу как к доказательству: если критерии не выполняются, приостановите внедрение, ликвидируйте пробел и только затем расширяйте использование.
Запустите небольшой пилотный проект с репрезентативными данными, а не отточенный демонстрационный набор.
Запустите небольшой пилотный проект с репрезентативными данными, а не отточенный демонстрационный набор. Относитесь к каждому шагу как к доказательству: если критерии не выполняются, приостановите внедрение, ликвидируйте пробел и только затем расширяйте использование.
Документируйте, где помогают ячейки кратковременной памяти и где более простые методы лучше.
Документируйте, где помогают ячейки кратковременной памяти и где более простые методы лучше. Относитесь к каждому шагу как к доказательству: если критерии не выполняются, приостановите внедрение, ликвидируйте пробел и только затем расширяйте использование.