Cuestionario vinculado a una guía · Medio Nivel

Prueba de células de memoria a largo plazo

Pruebe las funciones de puerta de LSTM, la retención del estado celular, el control de entrada y salida, las actualizaciones aditivas, el flujo de gradiente y los límites de secuencia.

Rutas de guía relacionadasCélulas de memoria a largo plazo
Pregunta 1 de 8

In a common modern three-gate LSTM variant, which gates regulate cell information and exposed output?

Vista previa de cada pregunta8 preguntas

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

  1. In a common modern three-gate LSTM variant, which gates regulate cell information and exposed output?
    • Leer, escribir y ejecutar puertas.
    • Iniciar, detener y pausar puertas
    • Puertas de olvido, entrada y salida
    • Codificar, decodificar y atender puertas
  2. What training difficulty was LSTM designed to mitigate?
    • Demasiados parámetros para almacenar
    • Vanishing gradients during learning over long sequences
    • Incapacidad para usar una GPU
    • Falta de una función de activación.
  3. ¿Quién introdujo el LSTM y en qué año?
    • Vaswani y colegas en 2017
    • Rumelhart y Hinton en 1986
    • LeCun y Bengio en 2012
    • Hochreiter y Schmidhuber en 1997
  4. In a common LSTM cell update, why can the additive cell-state path help gradient flow?
    • It reduces reliance on repeated multiplicative transformations across time steps
    • Multiplica el estado por un gran número en cada paso.
    • Elimina el estado en cada paso.
    • Congela todas las pesas durante el entrenamiento.
  5. ¿Qué función de activación suelen utilizar las puertas LSTM para actuar como interruptores suaves de encendido/apagado?
    • ReLU, generando 0 al infinito
    • Softmax sobre el vocabulario
    • Una función escalonada que genera exactamente 0 o 1
    • Sigmoide, generando 0 a 1
  6. ¿Por qué Transformers ha reemplazado en gran medida a los LSTM para el modelado de lenguajes a gran escala?
    • Los transformadores no pueden manejar texto en absoluto
    • Los LSTM no requieren capacitación
    • Los transformadores se paralelizan a lo largo de una secuencia y capturan el contexto de largo alcance a través de la atención.
    • Los transformadores utilizan muchos menos números en total
  7. If an LSTM forget gate is near one and its input gate near zero, what happens to the cell state?
    • It largely retains the previous state
    • It is forced to zero
    • It becomes the raw input token
    • It must reverse the sequence
  8. Which gate controls how much of an LSTM cell’s stored state is exposed as output?
    • The forget gate alone
    • The output gate
    • The optimizer momentum term
    • The positional encoding gate