Kvíz spojený s průvodcem · Těžko úroveň
Kvíz o superpozicích a polysémantičnosti
Kontroly obsahují superpozici, řídkost, polysémantické neurony, překrývající se směry a geometrii komprimovaných reprezentací.
Otázka 1 z 8
Co znamená „superpozice“ v neuronových sítích?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Co znamená „superpozice“ v neuronových sítích?
- Představuje více prvků, než kolik je neuronů, překrýváním jejich směrů
- Skládání více modelů na sebe
- Spuštění modelu dvakrát a zprůměrování
- Přidání hluku do vstupů během tréninku
- Jaká podmínka zajišťuje, že superpozice funguje dobře i přes interferenci prvků?
- Funkce jsou neustále hustě aktivní
- Funkce jsou řídké, takže jich je aktivních několik současně
- Použití pouze pozitivních aktivací
- Mít více neuronů než funkcí
- Co je to „polysémantický“ neuron?
- Neuron, který se nikdy neaktivuje
- Neuron používaný pouze ve výstupní vrstvě
- Neuron, který reaguje na mnoho nesouvisejících konceptů
- Neuron bez spojení
- Který Anthropic článek představil kontrolované studium tohoto fenoménu v roce 2022?
- Pozornost je vše, co potřebujete
- Klasifikace ImageNet s Deep CNN
- Hraní Atari s Deep RL
- Hračkářské modely superpozice
- Pokud vrstva musí uložit více prvků, než má rozměry, co je geometricky nevyhnutelné?
- Některé prvky musí sdílet překrývající se neortogonální směry
- Všechny prvky mohou zůstat dokonale ortogonální
- Síť musí spadnout
- Všechny funkce se stanou identickými
- Proč superpozice ztěžuje interpretaci?
- Zpomaluje chod modelu
- Jednotlivé neurony se již nemapují čistě na jednotlivé koncepty
- Odebere všechny funkce z modelu
- Ovlivňuje pouze vstupní vrstvu
- Why does sparse feature activity reduce interference when more features than dimensions are represented?
- Sparse activity makes all feature directions orthogonal
- It increases the number of neurons automatically
- Fewer features are active at the same time, so overlapping directions collide less often
- It removes the need for nonlinear computation
- What does an antipodal pair of feature directions look like geometrically?
- Two vectors at a right angle in separate dimensions
- Two vectors with identical directions and magnitudes
- A vector with no coordinates
- Two directions that point opposite ways along the same line