Gids-gekoppelde quiz · Middelmatig Niveau

Quiz over lange-kortetermijngeheugencellen

Test LSTM-poortrollen, behoud van celstatus, invoer- en uitvoercontrole, additieve updates, gradiëntstroom en reekslimieten.

Gerelateerde gidspadenLangetermijngeheugencellen
Vraag 1 van 8

In a common modern three-gate LSTM variant, which gates regulate cell information and exposed output?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. In a common modern three-gate LSTM variant, which gates regulate cell information and exposed output?
    • Poorten lezen, schrijven en uitvoeren
    • Start-, stop- en pauzehekken
    • Vergeet-, invoer- en uitvoerpoorten
    • Codeer, decodeer en bezoek de poorten
  2. What training difficulty was LSTM designed to mitigate?
    • Te veel parameters om op te slaan
    • Vanishing gradients during learning over long sequences
    • Onvermogen om een GPU te gebruiken
    • Gebrek aan een activeringsfunctie
  3. Wie introduceerde de LSTM, en in welk jaar?
    • Vaswani en collega's in 2017
    • Rumelhart en Hinton in 1986
    • LeCun en Bengio in 2012
    • Hochreiter en Schmidhuber in 1997
  4. In a common LSTM cell update, why can the additive cell-state path help gradient flow?
    • It reduces reliance on repeated multiplicative transformations across time steps
    • Het vermenigvuldigt de toestand bij elke stap met een groot getal
    • Het verwijdert de status bij elke stap
    • Het bevriest alle gewichten tijdens de training
  5. Welke activeringsfunctie gebruiken LSTM-poorten doorgaans om als zachte aan/uit-schakelaars te fungeren?
    • ReLU, met uitvoer van 0 tot oneindig
    • Softmax boven de woordenschat
    • Een stapfunctie die exact 0 of 1 uitvoert
    • Sigmoïde, output 0 naar 1
  6. Waarom hebben Transformers LSTM's grotendeels vervangen voor grootschalige taalmodellering?
    • Transformers kunnen helemaal niet overweg met tekst
    • LSTM's vereisen geen training
    • Transformers parallelliseren over een reeks en leggen de langeafstandscontext vast via aandacht
    • Transformers gebruiken in totaal veel minder getallen
  7. If an LSTM forget gate is near one and its input gate near zero, what happens to the cell state?
    • It largely retains the previous state
    • It is forced to zero
    • It becomes the raw input token
    • It must reverse the sequence
  8. Which gate controls how much of an LSTM cell’s stored state is exposed as output?
    • The forget gate alone
    • The output gate
    • The optimizer momentum term
    • The positional encoding gate