長短期記憶細胞
長短期記憶 (LSTM) セルは、長いシーケンスにわたる情報を記憶するために構築された特別な種類のリカレント ニューラル ネットワーク ユニットです。
概要
彼らは以前のRNNを苦しめていた消失勾配問題を解決し、言語、音声、翻訳の10年にわたる画期的な成果を生み出しました。
ディープダイブ
1997 年に Sepp Hochreiter と Jurgen Schmidhuber によって導入された LSTM セルは、シーケンス内を走行するメモリのコンベア ベルトのように機能する「セル状態」を維持します。 3 つの学習ゲートがこれを制御します。忘却ゲートは何を消去するかを決定し、入力ゲートはどのような新しい情報を保存するかを決定し、出力ゲートはセルの出力として何を公開するかを決定します。各ゲートはシグモイド (0 ～ 1 を出力) を使用してソフト スイッチとして機能します。セルの状態は主に乗算の繰り返しではなく加算によって更新されるため、勾配はゼロに縮小することなく多くのタイム ステップにわたって逆方向に流れることができ、LSTM は数百ステップ離れた依存関係を学習できます。 Transformers が登場する前は、LSTM が Google 翻訳、音声認識、テキスト生成を支えていました。
技術的な洞察
勾配消失の修正は、セル状態の線形に近い更新 (c_t = f_t * c_{t-1} + i_t * g_t) から得られます。フォーゲット ゲート f_t (シグモイド) は 1 付近に留まり、「定数エラー カルーセル」を作成できるため、エラー信号は長いスパンにわたってバックプロパゲーションを経ても存続します。ゲート自体は小さなニューラル層 (ゲートのシグモイド、候補値の Tanh) であり、すべて勾配降下法によって共同でトレーニングされます。このゲーティングにより、ネットワークは何を保持し、何を破棄するかを学習できます。
戦略的影響
より明確な判決
これは、明確な技術的主張とマーケティング言語を区別するのに役立ちます。
費用と予算
お金や時間を費やす前に、実装に関するより良い質問をすることができます。
チームとワークフロー
共通の理解を持ったチームは、製品、ポリシー、学習に関する意思決定をより適切に行うことができます。
長短期記憶細胞の将来
トランスフォーマーは、シーケンス全体で並列処理し、アテンションを通じて長距離コンテキストをキャプチャするため、大規模な言語タスクでは LSTM を大幅に上回りましたが、LSTM は一度に 1 ステップずつトークンを処理します。それでも、LSTM は、ストリーミング、低遅延、リソースに制約のある設定、および控えめな時系列データに対して依然として価値があります。 xLSTM (2024) のような最近の研究では、大規模な競争に対応するために新しいゲートとメモリを使用してアーキテクチャを再考し、最新化していますが、このアイデアがまだ完成していないことが示されています。
現実世界の実装
Transformers が引き継ぐ前の Google 初期の Translate のニューラル システムで機械翻訳を強化しました。
音声アシスタントおよびディクテーション ソフトウェアでの音声テキスト認識。
エネルギー需要、センサーの測定値、株価などの将来の値を時系列で予測します。
テキストまたは音楽を一度に 1 トークンずつ生成し、シーケンスを自動補完します。
リスクとガードレール
チームが異なれば、同じ用語の使用方法も異なる可能性があるため、範囲を早めに定義してください。
ベンチマークは好調に見えても、実際のパフォーマンスにはばらつきがある場合があります。
データの品質と評価計画を無視すると、多くの場合、脆弱な結果が生じます。
実装ロードマップ
必要な結果を平易な言葉で定義することから始めます。
テストする前に、成功指標と失敗条件を 1 つ選択します。
洗練されたデモセットではなく、代表的なデータを使用して小規模なパイロットを実行します。
長短期記憶セルが役立つ場合と、より単純な方法の方が優れている場合を文書化します。
探検を続けましょう
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Long Short-Term Memory Cells quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
次のガイド
GPU メモリ管理と断片化
よくある質問
長短期記憶細胞とは何ですか?
長短期記憶 (LSTM) セルは、長いシーケンスにわたる情報を記憶するために構築された特別な種類のリカレント ニューラル ネットワーク ユニットです。これらは、初期の RNN を機能不全に陥らせた勾配消失問題を解決し、言語、音声、翻訳における 10 年間の画期的な進歩をもたらしました。
標準 LSTM セル内の情報フローを制御する 3 つのゲートはどれですか?
LSTM は、忘却ゲート (何を消去するか)、入力ゲート (何を保存するか)、および出力ゲート (何を公開するか) を使用し、それぞれが学習されたシグモイドです。
初期の RNN の大きな問題は LSTM によって解決されましたか?
標準 RNN は、長期依存関係の学習を妨げる消失勾配に悩まされます。 LSTM の加算セル状態により、勾配が持続します。
LSTM は誰が何年に導入しましたか?
Sepp Hochreiter と Jurgen Schmidhuber は 1997 年に LSTM を発表しました。
LSTM セルの状態が勾配が多くのタイム ステップにわたって存続するのに役立つのはなぜですか?
加算的な更新 (「定数エラー カルーセル」) は、勾配を縮小する乗算の繰り返しを回避するため、エラー信号が長いスパンにわたって逆流します。
LSTM ゲートは通常、ソフト オン/オフ スイッチとして機能するためにどのようなアクティベーション関数を使用しますか?
ゲートはシグモイドを使用し、その出力が通過する情報量を 0 から 1 にスケールし、ソフト スイッチのように機能します。