Quiz collegato alla guida · Difficile Livello

Quiz sulla sovrapposizione e sulla polisemanticità

I controlli riguardano la sovrapposizione, la scarsità, i neuroni polisemantici, le direzioni sovrapposte e la geometria delle rappresentazioni compresse.

Percorsi guida correlatiSovrapposizione e polisemanticità
Domanda 1 di 8

Cosa si intende per "sovrapposizione" nelle reti neurali?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Cosa si intende per "sovrapposizione" nelle reti neurali?
    • Rappresentare più caratteristiche di quanti siano i neuroni sovrapponendo le loro direzioni
    • Impilare più modelli uno sopra l'altro
    • Eseguendo il modello due volte e calcolando la media
    • Aggiunta di rumore agli input durante l'allenamento
  2. Quale condizione fa sì che la sovrapposizione funzioni bene nonostante l'interferenza delle funzionalità?
    • Le funzionalità sono sempre densamente attive
    • Le funzionalità sono sparse, quindi poche sono attive contemporaneamente
    • Utilizzando solo attivazioni positive
    • Avere più neuroni che caratteristiche
  3. Cos'è un neurone "polisemantico"?
    • Un neurone che non si attiva mai
    • Un neurone utilizzato solo nello strato di output
    • Un neurone che risponde a molti concetti non correlati
    • Un neurone senza connessioni
  4. Quale documento Anthropic ha introdotto lo studio controllato di questo fenomeno nel 2022?
    • L'attenzione è tutto ciò di cui hai bisogno
    • Classificazione ImageNet con Deep CNN
    • Giocare ad Atari con Deep RL
    • Modelli giocattolo di sovrapposizione
  5. Se un livello deve memorizzare più elementi di quante ne abbia dimensioni, cosa è geometricamente inevitabile?
    • Alcune caratteristiche devono condividere direzioni sovrapposte e non ortogonali
    • Le caratteristiche possono rimanere tutte perfettamente ortogonali
    • La rete deve bloccarsi
    • Tutte le funzionalità diventano identiche
  6. Perché la sovrapposizione rende più difficile l’interpretabilità?
    • Rende il modello più lento da eseguire
    • I singoli neuroni non si associano più in modo pulito ai singoli concetti
    • Rimuove tutte le funzionalità dal modello
    • Influisce solo sul livello di input
  7. Why does sparse feature activity reduce interference when more features than dimensions are represented?
    • Sparse activity makes all feature directions orthogonal
    • It increases the number of neurons automatically
    • Fewer features are active at the same time, so overlapping directions collide less often
    • It removes the need for nonlinear computation
  8. What does an antipodal pair of feature directions look like geometrically?
    • Two vectors at a right angle in separate dimensions
    • Two vectors with identical directions and magnitudes
    • A vector with no coordinates
    • Two directions that point opposite ways along the same line