Prueba de ingeniería de dirección y representación de activación

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

1. ¿En qué momento del funcionamiento del modelo interviene la dirección de activación?
   • En el momento de la inferencia, modificando activaciones ocultas.
   • Sólo durante el preentrenamiento
   • Durante la recopilación de datos
   • Solo después de imprimir el texto de salida
2. ¿Cómo se calcula comúnmente un vector de dirección?
   • Inicializando aleatoriamente una matriz
   • Como la diferencia media entre activaciones con indicaciones contrastantes positivas y negativas
   • Eliminando capas del modelo
   • Contando fichas en el mensaje
3. ¿Qué hipótesis subyace a por qué funciona la dirección de activación?
   • La idea de que los modelos almacenen datos como texto sin formato
   • La creencia de que todas las neuronas son idénticas.
   • La hipótesis de la representación lineal, que muchas características son direcciones aproximadamente lineales.
   • La afirmación de que los modelos no pueden representar conceptos.
4. ¿Qué controla el coeficiente de escala en un vector de dirección?
   • El tamaño del vocabulario del modelo.
   • El número de capas en el modelo.
   • La tasa de aprendizaje de la formación.
   • Con qué fuerza se empuja el comportamiento en la dirección elegida
5. ¿Cuál es el riesgo conocido de conducir un modelo de manera demasiado agresiva?
   • La coherencia y las capacidades de producción pueden degradarse
   • El modelo se entrena automáticamente.
   • El tamaño del archivo crece sin control
   • Reescribe permanentemente los pesos.
6. ¿Qué técnica se suele combinar con la dirección para encontrar características interpretables que sujetar?
   • Compresión JPEG
   • Codificadores automáticos escasos que descomponen las activaciones en características
   • Registro de nombre de dominio
   • Desfragmentación de disco
7. How does activation steering differ from fine-tuning the model weights?
   • It retrains the model on a new labeled dataset
   • It changes the tokenizer vocabulary
   • It adds a vector to hidden activations during inference without updating the base weights
   • It replaces the attention layers with a classifier
8. A steering vector works on the prompts used to compute it but not on a different topic. Which limitation does this illustrate?
   • The vector must be an optimizer state
   • Steering always requires fine-tuning
   • A residual stream contains no features
   • The direction found from one prompt set may not generalize to other contexts