Kvíz spojený s průvodcem · Těžko úroveň

Kvíz o superpozicích a polysémantičnosti

Kontroly obsahují superpozici, řídkost, polysémantické neurony, překrývající se směry a geometrii komprimovaných reprezentací.

Související vodicí cestySuperpozice a polysémantičnost
Otázka 1 z 8

Co znamená „superpozice“ v neuronových sítích?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Co znamená „superpozice“ v neuronových sítích?
    • Představuje více prvků, než kolik je neuronů, překrýváním jejich směrů
    • Skládání více modelů na sebe
    • Spuštění modelu dvakrát a zprůměrování
    • Přidání hluku do vstupů během tréninku
  2. Jaká podmínka zajišťuje, že superpozice funguje dobře i přes interferenci prvků?
    • Funkce jsou neustále hustě aktivní
    • Funkce jsou řídké, takže jich je aktivních několik současně
    • Použití pouze pozitivních aktivací
    • Mít více neuronů než funkcí
  3. Co je to „polysémantický“ neuron?
    • Neuron, který se nikdy neaktivuje
    • Neuron používaný pouze ve výstupní vrstvě
    • Neuron, který reaguje na mnoho nesouvisejících konceptů
    • Neuron bez spojení
  4. Který Anthropic článek představil kontrolované studium tohoto fenoménu v roce 2022?
    • Pozornost je vše, co potřebujete
    • Klasifikace ImageNet s Deep CNN
    • Hraní Atari s Deep RL
    • Hračkářské modely superpozice
  5. Pokud vrstva musí uložit více prvků, než má rozměry, co je geometricky nevyhnutelné?
    • Některé prvky musí sdílet překrývající se neortogonální směry
    • Všechny prvky mohou zůstat dokonale ortogonální
    • Síť musí spadnout
    • Všechny funkce se stanou identickými
  6. Proč superpozice ztěžuje interpretaci?
    • Zpomaluje chod modelu
    • Jednotlivé neurony se již nemapují čistě na jednotlivé koncepty
    • Odebere všechny funkce z modelu
    • Ovlivňuje pouze vstupní vrstvu
  7. Why does sparse feature activity reduce interference when more features than dimensions are represented?
    • Sparse activity makes all feature directions orthogonal
    • It increases the number of neurons automatically
    • Fewer features are active at the same time, so overlapping directions collide less often
    • It removes the need for nonlinear computation
  8. What does an antipodal pair of feature directions look like geometrically?
    • Two vectors at a right angle in separate dimensions
    • Two vectors with identical directions and magnitudes
    • A vector with no coordinates
    • Two directions that point opposite ways along the same line