Gids-gekoppelde quiz · Moeilijk Niveau
Superpositie en polysemanticiteit Quiz
Controles omvatten superpositie, schaarsheid, polysemantische neuronen, overlappende richtingen en de geometrie van gecomprimeerde representaties.
Vraag 1 van 8
Waarnaar verwijst 'superpositie' in neurale netwerken?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Waarnaar verwijst 'superpositie' in neurale netwerken?
- Vertegenwoordigt meer kenmerken dan er neuronen zijn door hun richtingen te overlappen
- Meerdere modellen op elkaar stapelen
- Voer het model tweemaal uit en bereken het gemiddelde
- Ruis toevoegen aan de input tijdens de training
- Welke voorwaarde zorgt ervoor dat superpositie goed werkt ondanks interferentie van kenmerken?
- Functies die voortdurend actief zijn
- Functies zijn schaars, dus er zijn er maar weinig tegelijkertijd actief
- Alleen positieve activaties gebruiken
- Meer neuronen hebben dan kenmerken
- Wat is een 'polysemantisch' neuron?
- Een neuron dat nooit activeert
- Een neuron dat alleen in de uitvoerlaag wordt gebruikt
- Een neuron dat reageert op veel niet-gerelateerde concepten
- Een neuron zonder verbindingen
- Welk Anthropic artikel introduceerde een gecontroleerd onderzoek naar dit fenomeen in 2022?
- Aandacht is alles wat je nodig hebt
- ImageNet-classificatie met diepe CNN's
- Atari spelen met Deep RL
- Speelgoedmodellen van superpositie
- Als een laag meer objecten moet bevatten dan afmetingen heeft, wat is dan geometrisch onvermijdelijk?
- Sommige objecten moeten overlappende, niet-orthogonale richtingen delen
- De kenmerken kunnen allemaal perfect orthogonaal blijven
- Het netwerk moet crashen
- Alle kenmerken worden identiek
- Waarom maakt superpositie de interpreteerbaarheid moeilijker?
- Het zorgt ervoor dat het model langzamer draait
- Afzonderlijke neuronen kunnen niet langer duidelijk worden gekoppeld aan afzonderlijke concepten
- Het verwijdert alle functies uit het model
- Het heeft alleen invloed op de invoerlaag
- Why does sparse feature activity reduce interference when more features than dimensions are represented?
- Sparse activity makes all feature directions orthogonal
- It increases the number of neurons automatically
- Fewer features are active at the same time, so overlapping directions collide less often
- It removes the need for nonlinear computation
- What does an antipodal pair of feature directions look like geometrically?
- Two vectors at a right angle in separate dimensions
- Two vectors with identical directions and magnitudes
- A vector with no coordinates
- Two directions that point opposite ways along the same line