Gids-gekoppelde quiz · Middelmatig Niveau
Quiz over lange-kortetermijngeheugencellen
Test LSTM-poortrollen, behoud van celstatus, invoer- en uitvoercontrole, additieve updates, gradiëntstroom en reekslimieten.
Vraag 1 van 8
In a common modern three-gate LSTM variant, which gates regulate cell information and exposed output?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- In a common modern three-gate LSTM variant, which gates regulate cell information and exposed output?
- Poorten lezen, schrijven en uitvoeren
- Start-, stop- en pauzehekken
- Vergeet-, invoer- en uitvoerpoorten
- Codeer, decodeer en bezoek de poorten
- What training difficulty was LSTM designed to mitigate?
- Te veel parameters om op te slaan
- Vanishing gradients during learning over long sequences
- Onvermogen om een GPU te gebruiken
- Gebrek aan een activeringsfunctie
- Wie introduceerde de LSTM, en in welk jaar?
- Vaswani en collega's in 2017
- Rumelhart en Hinton in 1986
- LeCun en Bengio in 2012
- Hochreiter en Schmidhuber in 1997
- In a common LSTM cell update, why can the additive cell-state path help gradient flow?
- It reduces reliance on repeated multiplicative transformations across time steps
- Het vermenigvuldigt de toestand bij elke stap met een groot getal
- Het verwijdert de status bij elke stap
- Het bevriest alle gewichten tijdens de training
- Welke activeringsfunctie gebruiken LSTM-poorten doorgaans om als zachte aan/uit-schakelaars te fungeren?
- ReLU, met uitvoer van 0 tot oneindig
- Softmax boven de woordenschat
- Een stapfunctie die exact 0 of 1 uitvoert
- Sigmoïde, output 0 naar 1
- Waarom hebben Transformers LSTM's grotendeels vervangen voor grootschalige taalmodellering?
- Transformers kunnen helemaal niet overweg met tekst
- LSTM's vereisen geen training
- Transformers parallelliseren over een reeks en leggen de langeafstandscontext vast via aandacht
- Transformers gebruiken in totaal veel minder getallen
- If an LSTM forget gate is near one and its input gate near zero, what happens to the cell state?
- It largely retains the previous state
- It is forced to zero
- It becomes the raw input token
- It must reverse the sequence
- Which gate controls how much of an LSTM cell’s stored state is exposed as output?
- The forget gate alone
- The output gate
- The optimizer momentum term
- The positional encoding gate