Cuestionario vinculado a una guía · duro Nivel
Prueba de interpretabilidad mecanicista
Explore cómo los investigadores investigan los aspectos internos de las redes neuronales con circuitos, características e intervenciones manteniendo a la vista los límites actuales.
Pregunta 1 de 8
¿Cuál es el objetivo central de la interpretabilidad mecanicista?
Vista previa de cada pregunta8 preguntas
Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.
- ¿Cuál es el objetivo central de la interpretabilidad mecanicista?
- Realizar ingeniería inversa de los cálculos internos de una red para convertirlos en algoritmos comprensibles para los humanos.
- Para hacer que los modelos entrenen más rápido
- Para comprimir modelos para dispositivos móviles
- Para clasificar las características de entrada solo por importancia
- ¿A qué se refiere la "superposición" en una red neuronal?
- Apilar muchos modelos juntos
- Representar más entidades que dimensiones mediante el uso de direcciones superpuestas
- Ejecutar un modelo en múltiples GPU
- Promediar predicciones de diferentes ejecuciones
- Los codificadores automáticos dispersos se utilizan en interpretabilidad mecanicista principalmente para...
- Generar datos de entrenamiento
- Acelerar la inferencia
- Desenredar activaciones polisemánticas en características más limpias e interpretables.
- Cifrar pesos de modelo
- ¿Qué son los 'cabezales de inducción'?
- Aceleradores de hardware para transformadores.
- Capas de salida que generan texto.
- Un tipo de función de pérdida.
- Cabezas de atención que copian y continúan patrones simbólicos repetidos, apoyando el aprendizaje en contexto
- ¿Cómo confirman los investigadores que un circuito descubierto realmente realiza un cálculo hipotético?
- A través de intervenciones causales como la ablación o el parcheo de activaciones específicas.
- Comprobando la precisión del entrenamiento del modelo.
- Contando el número de parámetros.
- Midiendo la latencia de inferencia
- What is a cautious safety-related reason to study mechanistic interpretability?
- It proves every hidden behavior can already be found
- It may provide evidence about internal computations, while current methods are not a complete audit or direct steering guarantee
- It guarantees a model will follow any requested correction
- It replaces evaluations of model behavior in deployment
- If a sparse autoencoder feature activates on examples described as “Golden Gate Bridge,” what does that observation establish?
- The entire model’s computation is now explained
- The feature is guaranteed to be a single neuron
- A candidate feature correlates with those examples and needs further testing to establish its role
- The feature causes every bridge-related output
- Why test a candidate feature across varied prompts and examples?
- Proof that the model has no other relevant circuits
- A guarantee that the explanation generalizes to every prompt
- A replacement for inspecting model behavior
- To check whether the observed activation pattern generalizes beyond selected examples