引導式測驗 · 中等 等級
長短期記憶細胞測驗
測試 LSTM 閘角色、單元狀態保留、輸入和輸出控制、附加更新、梯度流和序列限制。
問題 1 的 8
在常見的現代三門 LSTM 變體中,哪些門調節單元資訊和暴露的輸出?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 在常見的現代三門 LSTM 變體中,哪些門調節單元資訊和暴露的輸出?
- 讀、寫和執行門
- 啟動、停止和暫停門
- 遺忘門、輸入門和輸出門
- 編碼、解碼和值守登機口
- LSTM 旨在緩解哪些訓練困難?
- 需要儲存的參數太多
- Vanishing gradients during learning over long sequences
- 無法使用 GPU
- 缺乏激活函數
- 誰在哪一年引進了 LSTM?
- Vaswani 和同事在 2017 年
- 魯梅爾哈特和辛頓,1986 年
- LeCun 與 Bengio,2012 年
- Hochreiter 與 Schmidhuber,1997 年
- 在常見的 LSTM 單元更新中,為什麼加性單元狀態路徑可以幫助梯度流動?
- It reduces reliance on repeated multiplicative transformations across time steps
- 每一步都會將狀態乘以一個大數
- 它每一步都會刪除狀態
- 它在訓練期間凍結所有重量
- LSTM 閘通常使用什麼活化函數來充當軟開關?
- ReLU,輸出0到無限大
- Softmax 對詞彙表的影響
- 精確輸出 0 或 1 的階躍函數
- Sigmoid,輸出0到1
- 為什麼 Transformer 很大程度上取代了 LSTM 來進行大規模語言建模?
- Transformer 根本無法處理文本
- LSTM 不需要訓練
- Transformer 跨序列並行化並透過注意力捕捉遠端上下文
- 變形金剛總共使用的數量要少得多
- If an LSTM forget gate is near one and its input gate near zero, what happens to the cell state?
- It largely retains the previous state
- It is forced to zero
- It becomes the raw input token
- It must reverse the sequence
- Which gate controls how much of an LSTM cell’s stored state is exposed as output?
- The forget gate alone
- The output gate
- The optimizer momentum term
- The positional encoding gate