Cuestionario vinculado a una guía · duro Nivel

Prueba de interpretabilidad mecanicista

Explore cómo los investigadores investigan los aspectos internos de las redes neuronales con circuitos, características e intervenciones manteniendo a la vista los límites actuales.

Rutas de guía relacionadasInterpretabilidad mecanicista
Pregunta 1 de 8

¿Cuál es el objetivo central de la interpretabilidad mecanicista?

Vista previa de cada pregunta8 preguntas

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

  1. ¿Cuál es el objetivo central de la interpretabilidad mecanicista?
    • Realizar ingeniería inversa de los cálculos internos de una red para convertirlos en algoritmos comprensibles para los humanos.
    • Para hacer que los modelos entrenen más rápido
    • Para comprimir modelos para dispositivos móviles
    • Para clasificar las características de entrada solo por importancia
  2. ¿A qué se refiere la "superposición" en una red neuronal?
    • Apilar muchos modelos juntos
    • Representar más entidades que dimensiones mediante el uso de direcciones superpuestas
    • Ejecutar un modelo en múltiples GPU
    • Promediar predicciones de diferentes ejecuciones
  3. Los codificadores automáticos dispersos se utilizan en interpretabilidad mecanicista principalmente para...
    • Generar datos de entrenamiento
    • Acelerar la inferencia
    • Desenredar activaciones polisemánticas en características más limpias e interpretables.
    • Cifrar pesos de modelo
  4. ¿Qué son los 'cabezales de inducción'?
    • Aceleradores de hardware para transformadores.
    • Capas de salida que generan texto.
    • Un tipo de función de pérdida.
    • Cabezas de atención que copian y continúan patrones simbólicos repetidos, apoyando el aprendizaje en contexto
  5. ¿Cómo confirman los investigadores que un circuito descubierto realmente realiza un cálculo hipotético?
    • A través de intervenciones causales como la ablación o el parcheo de activaciones específicas.
    • Comprobando la precisión del entrenamiento del modelo.
    • Contando el número de parámetros.
    • Midiendo la latencia de inferencia
  6. What is a cautious safety-related reason to study mechanistic interpretability?
    • It proves every hidden behavior can already be found
    • It may provide evidence about internal computations, while current methods are not a complete audit or direct steering guarantee
    • It guarantees a model will follow any requested correction
    • It replaces evaluations of model behavior in deployment
  7. If a sparse autoencoder feature activates on examples described as “Golden Gate Bridge,” what does that observation establish?
    • The entire model’s computation is now explained
    • The feature is guaranteed to be a single neuron
    • A candidate feature correlates with those examples and needs further testing to establish its role
    • The feature causes every bridge-related output
  8. Why test a candidate feature across varied prompts and examples?
    • Proof that the model has no other relevant circuits
    • A guarantee that the explanation generalizes to every prompt
    • A replacement for inspecting model behavior
    • To check whether the observed activation pattern generalizes beyond selected examples