リカレント ニューラル ネットワーク
リカレント ニューラル ネットワーク (RNN) は、テキスト、音声、時系列などのシーケンスを処理するために構築されています。
概要
They process data one step at a time while carrying a memory of what came before, making order and context matter.
ディープダイブ
すべての入力を一度に見る標準的なネットワークとは異なり、RNN はシーケンスをステップごとに読み取り、前のステップからの自身の出力を自身にフィードバックします。このループは、これまでに確認されたすべての実行中の要約である非表示の状態を作成するため、「銀行」という単語は、「川」の後と「貯蓄」の後では異なる解釈がされる可能性があります。単純な RNN は、トレーニング中に勾配が縮小または爆発し、遠くのコンテキストを忘れてしまうため、長いシーケンスに苦労します。ゲート型バリアントはこの問題を修正しました。Long Short-Term Memory (LSTM、1997) とより単純な Gated Recurrent Unit (GRU) は、何を保持、更新、または破棄するかを決定するゲートを使用し、ネットワークが多くのステップにわたって情報を保持できるようにします。 RNN は、Transformers に大部分が置き換えられるまで、初期の機械翻訳、音声認識、予測テキストを支えていました。
技術的な洞察
特徴的なのはフィードバック ループです。各タイム ステップで、ネットワークは現在の入力と前の隠れ状態を組み合わせて、新しい隠れ状態を生成します。トレーニングでは時間の経過に伴うバックプロパゲーションを使用します。これにより、すべてのステップにわたってループが展開され、エラーが逆方向に伝播されます。多くのステップにわたって乗算される勾配はゼロに向かう傾向があるため、ここで勾配消失の問題が発生します。 LSTM は、個別のセル状態と入力ゲート、忘却ゲート、および出力ゲートを追加するため、情報が長いスパンにわたってほぼ変更されずに流れることができます。
戦略的影響
より明確な判決
これは、明確な技術的主張とマーケティング言語を区別するのに役立ちます。
費用と予算
お金や時間を費やす前に、実装に関するより良い質問をすることができます。
チームとワークフロー
共通の理解を持ったチームは、製品、ポリシー、学習に関する意思決定をより適切に行うことができます。
リカレント ニューラル ネットワークの将来
トランスフォーマーはシーケンスを並列処理し、長距離リンクをより適切に捕捉するため、ほとんどの大規模な言語タスクで RNN を追い越しました。しかし、RNN は決して時代遅れではありません。RNN のステップバイステップの一定メモリ処理は、ストリーミング オーディオ、低電力デバイス、およびリアルタイム制御に適しています。 Mamba のような新しい状態空間モデルは、再帰型のアイデアを最新の効率で復活させ、非常に長いシーケンスを安価に処理します。データが継続的に到着する場合、またはコンピューティングとメモリが逼迫している場合でも、強力なニッチを維持できるリカレントおよび状態空間のアプローチが期待されます。
現実世界の実装
初期の Google 翻訳および音声からテキストへのディクテーション システムを強化
スマートフォンのキーボードのオートコンプリートとスワイプ入力で次の単語を予測する
過去の時系列データから株価、エネルギー需要、天候を予測
音楽の生成と分析、またはストリーミングセンサーデータの異常の検出
リスクとガードレール
チームが異なれば、同じ用語の使用方法も異なる可能性があるため、範囲を早めに定義してください。
ベンチマークは好調に見えても、実際のパフォーマンスにはばらつきがある場合があります。
データの品質と評価計画を無視すると、多くの場合、脆弱な結果が生じます。
実装ロードマップ
必要な結果を平易な言葉で定義することから始めます。
テストする前に、成功指標と失敗条件を 1 つ選択します。
洗練されたデモセットではなく、代表的なデータを使用して小規模なパイロットを実行します。
リカレント ニューラル ネットワークが役立つ場合と、より単純な方法の方が優れている場合を文書化します。
探検を続けましょう
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Recurrent Neural Networks quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
次のガイド
グラフニューラルネットワーク
よくある質問
What is Recurrent Neural Networks?
リカレント ニューラル ネットワーク (RNN) は、テキスト、音声、時系列などのシーケンスを処理するために構築されています。以前の内容の記憶を保持しながら、データを一度に 1 ステップずつ処理し、順序とコンテキストを重要にします。
RNN と標準のフィードフォワード ネットワークの違いは何ですか?
RNN にはフィードバック ループがあります。各ステップの隠れた状態が前方に渡され、ネットワークにシーケンスの初期部分のメモリが与えられます。
RNN の「隠れた状態」とは何ですか?
隠れた状態はネットワークのメモリとして機能し、各ステップで更新されて、その時点までに処理されたシーケンスを要約します。
単純な RNN がシーケンスのはるか昔の情報を忘れてしまう原因は何でしょうか?
多くのタイム ステップにわたって勾配を乗算すると、勾配はゼロに向かって縮小 (または爆発) する傾向があるため、初期の情報は学習に影響を与えなくなります。
LSTM と GRU はプレーンな RNN をどのように改善するのでしょうか?
LSTM や GRU のようなゲート付きユニットは、情報の流れを調整することを学習し、長いシーケンスにわたって有用なコンテキストを持続させ、勾配消失の問題を軽減します。
RNN はどのタイプのデータ向けに特に設計されていますか?
RNN は、文、オーディオ ストリーム、経時的な測定値など、コンテキストとシーケンスが重要な順序付けされたデータに威力を発揮します。