Gids-gekoppelde quiz · Moeilijk Niveau

Superpositie en polysemanticiteit Quiz

Controles omvatten superpositie, schaarsheid, polysemantische neuronen, overlappende richtingen en de geometrie van gecomprimeerde representaties.

Gerelateerde gidspadenSuperpositie en polysemanticiteit
Vraag 1 van 8

Waarnaar verwijst 'superpositie' in neurale netwerken?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Waarnaar verwijst 'superpositie' in neurale netwerken?
    • Vertegenwoordigt meer kenmerken dan er neuronen zijn door hun richtingen te overlappen
    • Meerdere modellen op elkaar stapelen
    • Voer het model tweemaal uit en bereken het gemiddelde
    • Ruis toevoegen aan de input tijdens de training
  2. Welke voorwaarde zorgt ervoor dat superpositie goed werkt ondanks interferentie van kenmerken?
    • Functies die voortdurend actief zijn
    • Functies zijn schaars, dus er zijn er maar weinig tegelijkertijd actief
    • Alleen positieve activaties gebruiken
    • Meer neuronen hebben dan kenmerken
  3. Wat is een 'polysemantisch' neuron?
    • Een neuron dat nooit activeert
    • Een neuron dat alleen in de uitvoerlaag wordt gebruikt
    • Een neuron dat reageert op veel niet-gerelateerde concepten
    • Een neuron zonder verbindingen
  4. Welk Anthropic artikel introduceerde een gecontroleerd onderzoek naar dit fenomeen in 2022?
    • Aandacht is alles wat je nodig hebt
    • ImageNet-classificatie met diepe CNN's
    • Atari spelen met Deep RL
    • Speelgoedmodellen van superpositie
  5. Als een laag meer objecten moet bevatten dan afmetingen heeft, wat is dan geometrisch onvermijdelijk?
    • Sommige objecten moeten overlappende, niet-orthogonale richtingen delen
    • De kenmerken kunnen allemaal perfect orthogonaal blijven
    • Het netwerk moet crashen
    • Alle kenmerken worden identiek
  6. Waarom maakt superpositie de interpreteerbaarheid moeilijker?
    • Het zorgt ervoor dat het model langzamer draait
    • Afzonderlijke neuronen kunnen niet langer duidelijk worden gekoppeld aan afzonderlijke concepten
    • Het verwijdert alle functies uit het model
    • Het heeft alleen invloed op de invoerlaag
  7. Why does sparse feature activity reduce interference when more features than dimensions are represented?
    • Sparse activity makes all feature directions orthogonal
    • It increases the number of neurons automatically
    • Fewer features are active at the same time, so overlapping directions collide less often
    • It removes the need for nonlinear computation
  8. What does an antipodal pair of feature directions look like geometrically?
    • Two vectors at a right angle in separate dimensions
    • Two vectors with identical directions and magnitudes
    • A vector with no coordinates
    • Two directions that point opposite ways along the same line