Útmutatóhoz kapcsolódó kvíz · Kemény Szint

Szuperpozíció és poliszemanticitás kvíz

Checks feature superposition, sparsity, polysemantic neurons, overlapping directions and the geometry of compressed representations.

Kapcsolódó útmutató utakSzuperpozíció és poliszemanticitás
kérdés 1 -ból 8

Mit jelent a „szuperpozíció” a neurális hálózatokban?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Mit jelent a „szuperpozíció” a neurális hálózatokban?
    • Több jellemzőt képviselnek, mint ahány neuron az irányuk átfedésével
    • Több modell egymásra rakása
    • A modell kétszeri futtatása és átlagolás
    • Zaj hozzáadása a bemenetekhez edzés közben
  2. Milyen körülmények között működik jól a szuperpozíció a funkciók interferenciája ellenére?
    • Állandóan sűrűn aktív funkciók
    • A funkciók ritkák, így kevesen aktívak egyszerre
    • Csak pozitív aktiválások használata
    • Több idegsejtje van, mint jellemző
  3. Mi az a „poliszemantikus” neuron?
    • Egy neuron, amely soha nem aktiválódik
    • Csak a kimeneti rétegben használt neuron
    • Egy neuron, amely sok nem kapcsolódó fogalomra reagál
    • Egy neuron kapcsolat nélkül
  4. Melyik Anthropic dokumentum vezette be ennek a jelenségnek az ellenőrzött vizsgálatát 2022-ben?
    • Csak a figyelem kell
    • ImageNet osztályozás mély CNN-ekkel
    • Atari játék Deep RL-vel
    • A szuperpozíció játékmodelljei
  5. Ha egy rétegnek több elemet kell tárolnia, mint amennyi méretei vannak, mi az, ami geometriailag elkerülhetetlen?
    • Néhány jellemzőnek átfedő, nem merőleges irányokat kell osztania
    • A jellemzők mindegyike tökéletesen ortogonális maradhat
    • A hálózatnak össze kell omlani
    • Minden funkció azonossá válik
  6. Miért nehezíti meg a szuperpozíció az értelmezhetőséget?
    • Lelassítja a modell futását
    • Az egyes neuronok többé nem képezik le tisztán az egyes fogalmakat
    • Eltávolítja az összes funkciót a modellből
    • Csak a bemeneti réteget érinti
  7. Why does sparse feature activity reduce interference when more features than dimensions are represented?
    • Sparse activity makes all feature directions orthogonal
    • It increases the number of neurons automatically
    • Fewer features are active at the same time, so overlapping directions collide less often
    • It removes the need for nonlinear computation
  8. What does an antipodal pair of feature directions look like geometrically?
    • Two vectors at a right angle in separate dimensions
    • Two vectors with identical directions and magnitudes
    • A vector with no coordinates
    • Two directions that point opposite ways along the same line