Quiz collegato alla guida · Difficile Livello
Quiz sulla sovrapposizione e sulla polisemanticità
I controlli riguardano la sovrapposizione, la scarsità, i neuroni polisemantici, le direzioni sovrapposte e la geometria delle rappresentazioni compresse.
Domanda 1 di 8
Cosa si intende per "sovrapposizione" nelle reti neurali?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Cosa si intende per "sovrapposizione" nelle reti neurali?
- Rappresentare più caratteristiche di quanti siano i neuroni sovrapponendo le loro direzioni
- Impilare più modelli uno sopra l'altro
- Eseguendo il modello due volte e calcolando la media
- Aggiunta di rumore agli input durante l'allenamento
- Quale condizione fa sì che la sovrapposizione funzioni bene nonostante l'interferenza delle funzionalità?
- Le funzionalità sono sempre densamente attive
- Le funzionalità sono sparse, quindi poche sono attive contemporaneamente
- Utilizzando solo attivazioni positive
- Avere più neuroni che caratteristiche
- Cos'è un neurone "polisemantico"?
- Un neurone che non si attiva mai
- Un neurone utilizzato solo nello strato di output
- Un neurone che risponde a molti concetti non correlati
- Un neurone senza connessioni
- Quale documento Anthropic ha introdotto lo studio controllato di questo fenomeno nel 2022?
- L'attenzione è tutto ciò di cui hai bisogno
- Classificazione ImageNet con Deep CNN
- Giocare ad Atari con Deep RL
- Modelli giocattolo di sovrapposizione
- Se un livello deve memorizzare più elementi di quante ne abbia dimensioni, cosa è geometricamente inevitabile?
- Alcune caratteristiche devono condividere direzioni sovrapposte e non ortogonali
- Le caratteristiche possono rimanere tutte perfettamente ortogonali
- La rete deve bloccarsi
- Tutte le funzionalità diventano identiche
- Perché la sovrapposizione rende più difficile l’interpretabilità?
- Rende il modello più lento da eseguire
- I singoli neuroni non si associano più in modo pulito ai singoli concetti
- Rimuove tutte le funzionalità dal modello
- Influisce solo sul livello di input
- Why does sparse feature activity reduce interference when more features than dimensions are represented?
- Sparse activity makes all feature directions orthogonal
- It increases the number of neurons automatically
- Fewer features are active at the same time, so overlapping directions collide less often
- It removes the need for nonlinear computation
- What does an antipodal pair of feature directions look like geometrically?
- Two vectors at a right angle in separate dimensions
- Two vectors with identical directions and magnitudes
- A vector with no coordinates
- Two directions that point opposite ways along the same line