Cuestionario vinculado a una guía · duro Nivel

Prueba de SwiGLU y activaciones cerradas

Prueba la proyección cerrada, la puerta SiLU, las compensaciones entre parámetros y costos y por qué el ancho oculto cambia cuando un SwiGLU reemplaza un MLP estándar.

Rutas de guía relacionadasSwiglu y activaciones cerradas
Pregunta 1 de 8

¿Qué operación principal define una unidad lineal cerrada?

Vista previa de cada pregunta8 preguntas

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

  1. ¿Qué operación principal define una unidad lineal cerrada?
    • Multiplicación por elementos de una proyección por una segunda proyección activada
    • Sumar dos proyecciones lineales juntas
    • Concatenando cabezas de atención
    • Dividiendo activaciones por su norma.
  2. ¿Qué función de activación utiliza SwiGLU para su rama de puerta?
    • ReLU
    • Silbido (SiLU)
    • tanh
    • softmax
  3. ¿Cuántas matrices de peso utiliza un bloque de avance SwiGLU?
    • uno
    • dos
    • tres
    • cuatro
  4. ¿Por qué la dimensión oculta normalmente se escala a aproximadamente dos tercios en las capas SwiGLU?
    • Para mejorar la precisión numérica
    • Para hacer el modelo más profundo.
    • Para eliminar la necesidad de normalización
    • Para mantener los parámetros totales y los FLOP comparables a los de un MLP estándar a pesar de la matriz adicional
  5. Una propiedad distintiva de Swish en comparación con ReLU es que es:
    • Suave y no monótono, permitiendo pequeños negativos.
    • Estrictamente creciente y con un límite de 1
    • Idéntica a la función sigmoidea.
    • Sólo definido para entradas positivas
  6. ¿Quién popularizó SwiGLU para capas de alimentación directa de transformadores en 2020?
    • Geoffrey Hinton
    • Noam Shazeer
    • Yann LeCun
    • Andrej Karpathy
  7. In the SwiGLU product Swish(xW) multiplied by xV, what happens when one gate value is near zero?
    • The entire Transformer layer is skipped
    • The output projection is replaced by a sigmoid
    • The matching value-branch dimension contributes little to the output
    • The value branch is permanently frozen
  8. Why can keeping a standard MLP’s hidden width unchanged increase SwiGLU cost?
    • The SiLU gate removes the output projection
    • SwiGLU computes a full Hessian
    • The value branch has no learned weights
    • SwiGLU uses an extra projection matrix, so the comparable-width design would have more parameters and FLOPs