Quiz collegato alla guida · Medio Livello
Quiz sulle cellule di memoria a breve termine
Testa i ruoli dei gate LSTM, la ritenzione dello stato cellulare, il controllo di input e output, gli aggiornamenti additivi, il flusso del gradiente e i limiti di sequenza.
Domanda 1 di 8
In a common modern three-gate LSTM variant, which gates regulate cell information and exposed output?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- In a common modern three-gate LSTM variant, which gates regulate cell information and exposed output?
- Leggere, scrivere ed eseguire porte
- Avvia, ferma e metti in pausa i cancelli
- Dimentica le porte di input e output
- Codifica, decodifica e controlla i cancelli
- What training difficulty was LSTM designed to mitigate?
- Troppi parametri da memorizzare
- Vanishing gradients during learning over long sequences
- Impossibilità di utilizzare una GPU
- Mancanza di una funzione di attivazione
- Chi ha introdotto l’LSTM e in quale anno?
- Vaswani e colleghi nel 2017
- Rumelhart e Hinton nel 1986
- LeCun e Bengio nel 2012
- Hochreiter e Schmidhuber nel 1997
- In a common LSTM cell update, why can the additive cell-state path help gradient flow?
- It reduces reliance on repeated multiplicative transformations across time steps
- Moltiplica lo stato per un numero elevato a ogni passaggio
- Elimina lo stato ad ogni passaggio
- Congela tutti i pesi durante l'allenamento
- Quale funzione di attivazione utilizzano generalmente i cancelli LSTM per agire come interruttori di accensione/spegnimento?
- ReLU, emettendo da 0 all'infinito
- Softmax sul vocabolario
- Una funzione passo-passo che emette esattamente 0 o 1
- Sigmoide, emettendo da 0 a 1
- Perché i Transformers hanno ampiamente sostituito gli LSTM per la modellazione linguistica su larga scala?
- I trasformatori non possono gestire affatto il testo
- Gli LSTM non richiedono formazione
- I trasformatori si parallelizzano attraverso una sequenza e catturano il contesto a lungo raggio attraverso l'attenzione
- I trasformatori utilizzano molti meno numeri in totale
- If an LSTM forget gate is near one and its input gate near zero, what happens to the cell state?
- It largely retains the previous state
- It is forced to zero
- It becomes the raw input token
- It must reverse the sequence
- Which gate controls how much of an LSTM cell’s stored state is exposed as output?
- The forget gate alone
- The output gate
- The optimizer momentum term
- The positional encoding gate