Cuestionario vinculado a una guía · Medio Nivel

Cuestionario sobre lentes Logit y lentes sintonizados

Comprueba las lecturas de la capa intermedia, la estructura del flujo residual, el traductor de lentes sintonizados y las limitaciones de la lente logit sin procesar.

Rutas de guía relacionadasLente Logit y lente sintonizada
Pregunta 1 de 8

¿Qué hace la lente logit?

Vista previa de cada pregunta8 preguntas

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

  1. ¿Qué hace la lente logit?
    • Aplica la desincrustación final del modelo a estados ocultos intermedios para leer predicciones por capa.
    • Agrega nuevas capas a un transformador.
    • Quita la atención del modelo.
    • Traduce entre idiomas humanos.
  2. ¿Qué mejora clave aporta la lente sintonizada sobre la lente logit sin procesar?
    • Utiliza un vocabulario más amplio.
    • Entrena un pequeño mapa afín por capa para traducir estados ocultos a la base final.
    • Elimina la necesidad de desincrustar
    • Sólo funciona en modelos de imagen.
  3. ¿Qué estructura en los transformadores hace posibles estas lentes?
    • Los filtros convolucionales
    • El tokenizador
    • La corriente residual aditiva que la desincrustación proyecta posteriormente a logits
    • La tasa de aprendizaje del optimizador.
  4. ¿Quién introdujo la lente logit original y aproximadamente cuándo?
    • Mente profunda en 2015
    • OpenAI en 2018
    • Google en 2012
    • nostálgico en 2020
  5. ¿Dónde suele mostrar la lente logit la respuesta final "cristalizando"?
    • En capas medias a tardías
    • Sólo en la primera capa.
    • Nunca, la respuesta aparece de golpe.
    • Fuera del modelo por completo
  6. ¿Por qué la lente logit sin procesar podría no ser confiable en las primeras capas?
    • Las primeras capas no tienen neuronas.
    • Sus estados ocultos aún no están alineados con la base de resultado final que espera la desintegración.
    • Las primeras capas nunca se utilizan en la predicción.
    • La matriz de desincrustación es aleatoria.
  7. What does the model’s final unembedding map a residual-stream vector into?
    • A new set of transformer layers
    • A similarity graph over training examples
    • Vocabulary logits that can be converted into token probabilities
    • A gradient clipping threshold
  8. Why can an early-layer raw logit-lens prediction be misleading?
    • The layer has already generated the full answer
    • The tokenizer has been removed
    • The unembedding only works on images
    • The intermediate state may not yet be aligned with the final output basis