Útmutatóhoz kapcsolódó kvíz · Kemény Szint

Ritka automatikus kódolók az értelmezhetőségi kvízhez

Checks sparse autoencoder reconstruction and sparsity, activation features, width expansion, feature splitting and causal steering experiments.

kérdés 1 -ból 8

Mi a fő célja egy ritka autoencoder betanításának a modell aktiválásaira?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Mi a fő célja egy ritka autoencoder betanításának a modell aktiválásaira?
    • A szövevényes aktiválások értelmezhető, többnyire elszigetelt jellemzőkre bontása
    • A modell tömörítéséhez, hogy gyorsabban fusson
    • Szöveg nyelvek közötti fordításához
    • A modell pontosságának növelése a benchmarkokon
  2. How does an SAE’s sparsity penalty affect hidden-unit activations?
    • It guarantees each unit represents exactly one concept
    • It encourages only a small subset of the wider hidden layer to activate for an input
    • It makes every hidden unit activate equally
    • It removes the reconstruction objective
  3. Körülbelül hány funkciót bontott ki Anthropic, amikor 2024-ben Claude 3 Sonnetre méretezte a SAE-t?
    • Körülbelül 500
    • Körülbelül 2000
    • Körülbelül 34 millió
    • Körülbelül 100 milliárd
  4. Mit mutatott az „Aranykapu Claude” bemutató?
    • Hogy a SAE-ket csak képeken lehet betanítani
    • Hogy a modell már nem tudott szöveget előállítani
    • Ezek a funkciók nincsenek hatással a kimenetekre
    • Egyetlen jellemző magasra szorítása okozatilag irányítja a modell viselkedését
  5. Miért jóval SZÉLESSÉGES egy SAE rejtett rétege, mint az általa rekonstruált aktiválás?
    • Mivel a fogalmak kevesebb dimenzióban helyezkednek el, mint amennyire valóban szükségük van, így több egység segít szétválasztani őket
    • Hogy olcsóbb legyen a képzés
    • Mert a szélesebb rétegek mindig pontosabbak
    • A paraméterek számának csökkentése érdekében
  6. Mi az ismert korlátozása a jelenlegi ritka autoenkódereknek?
    • Gradiens süllyedéssel nem képezhetők
    • Jellemzők felosztása, ahol egy fogalom több különálló elemre bomlik
    • Csak konvolúciós hálózatokon működnek
    • Megszüntetik az emberi címkézés szükségességét
  7. Which two objectives are commonly combined when training a sparse autoencoder?
    • A policy gradient and value loss
    • A next-token loss and a contrastive loss
    • Reconstruction error and a penalty on hidden activations
    • A calibration error and classification accuracy
  8. What does a TopK sparse autoencoder do to encourage sparsity?
    • Keeps the K largest input pixels and discards the decoder
    • Sets all encoder weights to zero
    • Trains K different tokenizers
    • Keeps only the K largest hidden activations for an input