Útmutatóhoz kapcsolódó kvíz · Közepes Szint

Lineáris szondázás és fagyasztott jellemzők kiértékelő kvíz

Checks what linear probes measure, how to compare frozen layers and why probe accuracy alone cannot establish causal use or robustness.

kérdés 1 -ból 8

Egy szabványos lineáris szondában mely paraméterek frissülnek a képzés során?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Egy szabványos lineáris szondában mely paraméterek frissülnek a képzés során?
    • Csak az újonnan hozzáadott lineáris osztályozó a tetején
    • A teljes gerinc és a lineáris réteg
    • Csak a gerinc, így az osztályozó fixen marad
    • A beágyazó réteg és a végső figyelemblokk
  2. What does high linear-probe accuracy most directly show?
    • The backbone causally uses the feature for every prediction
    • The labels are decodable by a linear classifier from the frozen features under that dataset and protocol
    • The representation is robust to every distribution shift
    • The probe has identified a human-interpretable mechanism
  3. A teljes finomhangolással összehasonlítva a lineáris szondázás elsősorban azért vonzó, mert:
    • Pontosabb minden feladatnál
    • Garantáltan jobban általánosít a terjesztésen kívül
    • Olcsóbb a számítás és a memória, és tisztább olvasási minőséget biztosít
    • Az egyetlen módja egy előképzett modell használatának
  4. A transzformátorok szondázásakor általános tapasztalati megállapítás a következő:
    • Az utolsó réteg mindig a legjobb szonda pontosságot adja
    • A szondázás csak konvolúciós hálózatokon működik
    • A rétegválasztás soha nem befolyásolja a szonda eredményeit
    • A köztes rétegek gyakran jobban teljesítenek, mint az utolsó réteg az átvitel során
  5. A benchmarkingon túl a lineáris szondákat egyre gyakrabban használják az értelmezhetőség érdekében:
    • Határozza meg, hogy az olyan fogalom, mint az igazmondás, rejtett állapotokba van-e kódolva
    • Modellek tömörítése mobil telepítéshez
    • Cserélje ki az optimalizálót az előképzés során
    • Új edzésadatok automatikus generálása
  6. A nagy szonda pontosság értelmezésének kulcsfontosságú módszertani kockázata az, hogy:
    • A gerinc titokban edz
    • Lehet, hogy a szonda egy hamis összefüggést használ ki, nem pedig a valódi koncepciót
    • A lineáris szondák nem illeszthetők túl
    • A kereszt-entrópia veszteség nem használható
  7. To compare two backbone layers with linear probes, what should remain consistent?
    • The feature vectors from each layer
    • The layer being evaluated
    • The task labels, data split and probe-training protocol
    • The activation values themselves
  8. Why might feature normalization and learning-rate sweeps be used in a probe evaluation?
    • To update the frozen backbone
    • To add hidden nonlinear layers to the probe
    • To guarantee the concept is causally used
    • To reduce optimization and scale effects that could distort the representation comparison