Prueba de codificadores automáticos dispersos para la interpretabilidad

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

1. ¿Cuál es el objetivo principal de entrenar un codificador automático disperso en las activaciones de un modelo?
   • Descomponer activaciones enredadas en características interpretables y en su mayoría aisladas.
   • Para comprimir el modelo para que se ejecute más rápido
   • Para traducir texto entre idiomas
   • Para aumentar la precisión del modelo en los puntos de referencia.
2. How does an SAE’s sparsity penalty affect hidden-unit activations?
   • It guarantees each unit represents exactly one concept
   • It encourages only a small subset of the wider hidden layer to activate for an input
   • It makes every hidden unit activate equally
   • It removes the reconstruction objective
3. ¿Aproximadamente cuántas funciones extrajo Anthropic al escalar SAE a Claude 3 Sonnet en 2024?
   • Alrededor de 500
   • Alrededor de 2.000
   • Alrededor de 34 millones
   • Alrededor de 100 mil millones
4. ¿Qué mostró la manifestación del 'Golden Gate Claude'?
   • Que los SAE solo se pueden entrenar en imágenes
   • Que el modelo ya no podía producir texto.
   • Esas características no tienen ningún efecto en los resultados.
   • Que mantener alta una sola característica dirige causalmente el comportamiento del modelo
5. ¿Por qué una capa oculta en un SAE suele ser mucho MÁS AMPLIA que la activación que reconstruye?
   • Debido a que los conceptos se superponen en menos dimensiones de las que realmente necesitan, más unidades ayudan a desenredarlos.
   • Para abaratar la formación
   • Porque las capas más amplias son siempre más precisas
   • Para reducir el número de parámetros.
6. ¿Cuál es una limitación conocida de los escasos codificadores automáticos actuales?
   • No se pueden entrenar con descenso de gradiente.
   • División de características, donde un concepto se fractura en muchas características separadas
   • Sólo funcionan en redes convolucionales.
   • Eliminan la necesidad de cualquier etiquetado humano
7. Which two objectives are commonly combined when training a sparse autoencoder?
   • A policy gradient and value loss
   • A next-token loss and a contrastive loss
   • Reconstruction error and a penalty on hidden activations
   • A calibration error and classification accuracy
8. What does a TopK sparse autoencoder do to encourage sparsity?
   • Keeps the K largest input pixels and discards the decoder
   • Sets all encoder weights to zero
   • Trains K different tokenizers
   • Keeps only the K largest hidden activations for an input