Prueba de superposición y polisemanticidad

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

1. ¿A qué se refiere la "superposición" en las redes neuronales?
   • Representar más características que neuronas al superponer sus direcciones.
   • Apilar varios modelos uno encima del otro
   • Ejecutar el modelo dos veces y promediar
   • Agregar ruido a las entradas durante el entrenamiento
2. ¿Qué condición hace que la superposición funcione bien a pesar de la interferencia de características?
   • Funciones que están densamente activas todo el tiempo.
   • Como las funciones son escasas, pocas están activas simultáneamente
   • Usar solo activaciones positivas
   • Tener más neuronas que características.
3. ¿Qué es una neurona 'polisemántica'?
   • Una neurona que nunca se activa
   • Una neurona utilizada sólo en la capa de salida.
   • Una neurona que responde a muchos conceptos no relacionados.
   • Una neurona sin conexiones
4. ¿Qué artículo Anthropic introdujo un estudio controlado de este fenómeno en 2022?
   • Atención es todo lo que necesitas
   • Clasificación de ImageNet con CNN profundas
   • Jugando Atari con Deep RL
   • Modelos de juguete de superposición.
5. Si una capa debe almacenar más entidades de las que tiene dimensiones, ¿qué es geométricamente inevitable?
   • Algunas entidades deben compartir direcciones superpuestas y no ortogonales.
   • Todas las entidades pueden permanecer perfectamente ortogonales.
   • La red debe colapsar
   • Todas las funciones se vuelven idénticas
6. ¿Por qué la superposición dificulta la interpretabilidad?
   • Hace que el modelo se ejecute más lentamente.
   • Las neuronas individuales ya no se asignan claramente a conceptos únicos
   • Elimina todas las características del modelo.
   • Sólo afecta a la capa de entrada.
7. Why does sparse feature activity reduce interference when more features than dimensions are represented?
   • Sparse activity makes all feature directions orthogonal
   • It increases the number of neurons automatically
   • Fewer features are active at the same time, so overlapping directions collide less often
   • It removes the need for nonlinear computation
8. What does an antipodal pair of feature directions look like geometrically?
   • Two vectors at a right angle in separate dimensions
   • Two vectors with identical directions and magnitudes
   • A vector with no coordinates
   • Two directions that point opposite ways along the same line