ガイド連動クイズ · 中 レベル
長短期記憶細胞クイズ
LSTM ゲートの役割、セル状態保持、入出力制御、追加更新、グラジエント フロー、シーケンス制限をテストします。
質問 1 の 8
一般的な最新の 3 ゲート LSTM バリアントでは、どのゲートがセル情報と露出された出力を制御しますか?
すべての質問をプレビューする8 質問
クイズに答えると、答えと解説が表示されます。
- 一般的な最新の 3 ゲート LSTM バリアントでは、どのゲートがセル情報と露出された出力を制御しますか?
- ゲートの読み取り、書き込み、実行
- ゲートの開始、停止、一時停止
- 忘却ゲート、入力ゲート、出力ゲート
- エンコード、デコード、ゲートへの立ち入り
- LSTM はどのようなトレーニングの難しさを軽減するために設計されましたか?
- パラメータが多すぎて保存できません
- 長いシーケンスの学習中に勾配が消える
- GPUを使用できない
- 活性化関数の欠如
- LSTM は誰が何年に導入しましたか?
- 2017 年のバスワニと同僚
- 1986年のルメルハートとヒントン
- 2012 年のルカンとベンジオ
- 1997年のホッホライターとシュミットフーバー
- 一般的な LSTM セル更新において、セル状態パスの追加がグラジエント フローに役立つのはなぜですか?
- タイムステップ全体で繰り返される乗算変換への依存を軽減します。
- ステップごとに状態に大きな数値を乗算します
- ステップごとに状態を削除します
- トレーニング中にすべてのウェイトをフリーズします
- LSTM ゲートは通常、ソフト オン/オフ スイッチとして機能するためにどのようなアクティベーション関数を使用しますか?
- ReLU、0から無限大まで出力
- 語彙を超えたソフトマックス
- 正確に 0 または 1 を出力するステップ関数
- シグモイド、0 ～ 1 を出力
- 大規模な言語モデリングにおいて LSTM のほとんどが Transformers に置き換わったのはなぜですか?
- Transformers はテキストをまったく処理できません
- LSTM にはトレーニングは必要ありません
- トランスフォーマーはシーケンス全体で並列化し、注意を介して長距離コンテキストをキャプチャします
- 変圧器が使用する合計数ははるかに少なくなります
- LSTM フォーゲット ゲートが 1 に近く、その入力ゲートが 0 に近い場合、セルの状態はどうなるのでしょうか?
- ほとんど以前の状態を維持しています
- 強制的にゼロになります
- 生の入力トークンになります
- 順序を逆にする必要があります
- どのゲートが、LSTM セルの保存された状態をどの程度出力として公開するかを制御しますか?
- 忘れられた門だけ
- 出力ゲート
- オプティマイザーのモメンタム項
- 位置エンコーディングゲート