Quiz collegato alla guida · Difficile Livello

Codificatori automatici sparsi per il quiz sull'interpretabilità

Controlla la ricostruzione e la scarsità del codificatore automatico sparso, le caratteristiche di attivazione, l'espansione della larghezza, la suddivisione delle caratteristiche e gli esperimenti di guida causale.

Domanda 1 di 8

Qual è lo scopo principale dell'addestramento di un autocodificatore sparso sulle attivazioni di un modello?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Qual è lo scopo principale dell'addestramento di un autocodificatore sparso sulle attivazioni di un modello?
    • Scomporre le attivazioni aggrovigliate in caratteristiche interpretabili, per lo più isolate
    • Per comprimere il modello in modo che venga eseguito più velocemente
    • Per tradurre il testo tra le lingue
    • Per aumentare la precisione del modello sui benchmark
  2. How does an SAE’s sparsity penalty affect hidden-unit activations?
    • It guarantees each unit represents exactly one concept
    • It encourages only a small subset of the wider hidden layer to activate for an input
    • It makes every hidden unit activate equally
    • It removes the reconstruction objective
  3. All'incirca quante funzionalità ha estratto Anthropic durante il ridimensionamento dei SAE a Claude 3 Sonnet nel 2024?
    • Circa 500
    • Circa 2.000
    • Circa 34 milioni
    • Circa 100 miliardi
  4. Cosa ha mostrato la dimostrazione del "Golden Gate Claude"?
    • Che i SAE possono essere addestrati solo su immagini
    • Che il modello non poteva più produrre testo
    • Queste funzionalità non hanno alcun effetto sugli output
    • Il fatto che fissare una singola caratteristica in alto guida causalmente il comportamento del modello
  5. Perché uno strato nascosto in un SAE è tipicamente molto PIÙ AMPIO dell'attivazione che ricostruisce?
    • Poiché i concetti sono sovrapposti in meno dimensioni di quelle di cui hanno realmente bisogno, più unità aiutano a districarli
    • Per rendere la formazione più economica
    • Perché gli strati più ampi sono sempre più accurati
    • Per ridurre il numero di parametri
  6. Qual è una limitazione nota degli attuali codificatori automatici sparsi?
    • Non possono essere allenati con la discesa in pendenza
    • Suddivisione delle funzionalità, in cui un concetto si frattura in molte funzionalità separate
    • Funzionano solo su reti convoluzionali
    • Eliminano la necessità di qualsiasi etichettatura umana
  7. Which two objectives are commonly combined when training a sparse autoencoder?
    • A policy gradient and value loss
    • A next-token loss and a contrastive loss
    • Reconstruction error and a penalty on hidden activations
    • A calibration error and classification accuracy
  8. What does a TopK sparse autoencoder do to encourage sparsity?
    • Keeps the K largest input pixels and discards the decoder
    • Sets all encoder weights to zero
    • Trains K different tokenizers
    • Keeps only the K largest hidden activations for an input