Útmutatóhoz kapcsolódó kvíz · Kemény Szint
Szuperpozíció és poliszemanticitás kvíz
Checks feature superposition, sparsity, polysemantic neurons, overlapping directions and the geometry of compressed representations.
kérdés 1 -ból 8
Mit jelent a „szuperpozíció” a neurális hálózatokban?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Mit jelent a „szuperpozíció” a neurális hálózatokban?
- Több jellemzőt képviselnek, mint ahány neuron az irányuk átfedésével
- Több modell egymásra rakása
- A modell kétszeri futtatása és átlagolás
- Zaj hozzáadása a bemenetekhez edzés közben
- Milyen körülmények között működik jól a szuperpozíció a funkciók interferenciája ellenére?
- Állandóan sűrűn aktív funkciók
- A funkciók ritkák, így kevesen aktívak egyszerre
- Csak pozitív aktiválások használata
- Több idegsejtje van, mint jellemző
- Mi az a „poliszemantikus” neuron?
- Egy neuron, amely soha nem aktiválódik
- Csak a kimeneti rétegben használt neuron
- Egy neuron, amely sok nem kapcsolódó fogalomra reagál
- Egy neuron kapcsolat nélkül
- Melyik Anthropic dokumentum vezette be ennek a jelenségnek az ellenőrzött vizsgálatát 2022-ben?
- Csak a figyelem kell
- ImageNet osztályozás mély CNN-ekkel
- Atari játék Deep RL-vel
- A szuperpozíció játékmodelljei
- Ha egy rétegnek több elemet kell tárolnia, mint amennyi méretei vannak, mi az, ami geometriailag elkerülhetetlen?
- Néhány jellemzőnek átfedő, nem merőleges irányokat kell osztania
- A jellemzők mindegyike tökéletesen ortogonális maradhat
- A hálózatnak össze kell omlani
- Minden funkció azonossá válik
- Miért nehezíti meg a szuperpozíció az értelmezhetőséget?
- Lelassítja a modell futását
- Az egyes neuronok többé nem képezik le tisztán az egyes fogalmakat
- Eltávolítja az összes funkciót a modellből
- Csak a bemeneti réteget érinti
- Why does sparse feature activity reduce interference when more features than dimensions are represented?
- Sparse activity makes all feature directions orthogonal
- It increases the number of neurons automatically
- Fewer features are active at the same time, so overlapping directions collide less often
- It removes the need for nonlinear computation
- What does an antipodal pair of feature directions look like geometrically?
- Two vectors at a right angle in separate dimensions
- Two vectors with identical directions and magnitudes
- A vector with no coordinates
- Two directions that point opposite ways along the same line