Kuis terkait panduan · Sedang Tingkat

Kuis Sel Memori Jangka Pendek

Uji peran gerbang LSTM, retensi status sel, kontrol input dan output, pembaruan aditif, aliran gradien, dan batas urutan.

Jalur panduan terkaitSel Memori Jangka Pendek
Pertanyaan 1 dari 8

In a common modern three-gate LSTM variant, which gates regulate cell information and exposed output?

Pratinjau setiap pertanyaan8 pertanyaan

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

  1. In a common modern three-gate LSTM variant, which gates regulate cell information and exposed output?
    • Membaca, menulis, dan mengeksekusi gerbang
    • Mulai, hentikan, dan jeda gerbang
    • Lupakan, gerbang masukan dan keluaran
    • Enkode, dekode, dan hadiri gerbang
  2. What training difficulty was LSTM designed to mitigate?
    • Terlalu banyak parameter untuk disimpan
    • Vanishing gradients during learning over long sequences
    • Ketidakmampuan untuk menggunakan GPU
    • Kurangnya fungsi aktivasi
  3. Siapa yang memperkenalkan LSTM, dan pada tahun berapa?
    • Vaswani dan rekannya pada tahun 2017
    • Rumelhart dan Hinton pada tahun 1986
    • LeCun dan Bengio pada tahun 2012
    • Hochreiter dan Schmidhuber pada tahun 1997
  4. In a common LSTM cell update, why can the additive cell-state path help gradient flow?
    • It reduces reliance on repeated multiplicative transformations across time steps
    • Ini mengalikan negara bagian dengan sejumlah besar setiap langkahnya
    • Ini menghapus negara setiap langkah
    • Ini membekukan semua beban selama latihan
  5. Fungsi aktivasi apa yang biasanya digunakan gerbang LSTM untuk bertindak sebagai sakelar hidup/mati lunak?
    • ReLU, menghasilkan 0 hingga tak terhingga
    • Softmax atas kosakata
    • Fungsi langkah menghasilkan tepat 0 atau 1
    • Sigmoid, menghasilkan 0 hingga 1
  6. Mengapa Transformers banyak menggantikan LSTM untuk pemodelan bahasa skala besar?
    • Transformers tidak bisa menangani teks sama sekali
    • LSTM tidak memerlukan pelatihan
    • Transformer memparalelkan seluruh rangkaian dan menangkap konteks jangka panjang melalui perhatian
    • Transformer menggunakan angka yang jauh lebih sedikit secara total
  7. If an LSTM forget gate is near one and its input gate near zero, what happens to the cell state?
    • It largely retains the previous state
    • It is forced to zero
    • It becomes the raw input token
    • It must reverse the sequence
  8. Which gate controls how much of an LSTM cell’s stored state is exposed as output?
    • The forget gate alone
    • The output gate
    • The optimizer momentum term
    • The positional encoding gate