Kvíz spojený s průvodcem · Střední úroveň

Lineární sondování a hodnotící kvíz zmrazených prvků

Kontroluje, co lineární sondy měří, jak porovnávat zmrazené vrstvy a proč samotná přesnost sondy nemůže stanovit příčinné použití nebo robustnost.

Otázka 1 z 8

Které parametry se u standardní lineární sondy aktualizují během tréninku?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Které parametry se u standardní lineární sondy aktualizují během tréninku?
    • Pouze nově přidaný lineární klasifikátor nahoře
    • Celá páteř plus lineární vrstva
    • Pouze páteř, klasifikátor ponechán pevný
    • Vrstva pro vkládání a poslední blok pozornosti
  2. What does high linear-probe accuracy most directly show?
    • The backbone causally uses the feature for every prediction
    • The labels are decodable by a linear classifier from the frozen features under that dataset and protocol
    • The representation is robust to every distribution shift
    • The probe has identified a human-interpretable mechanism
  3. Ve srovnání s úplným jemným doladěním je lineární snímání primárně atraktivní, protože:
    • Přesnější na každý úkol
    • Zaručeno lepší zobecnění mimo distribuci
    • Levnější ve výpočtech a paměti a poskytuje čistší čtení kvality funkcí
    • Jediný způsob, jak použít předtrénovaný model
  4. Společným empirickým zjištěním při zkoušení transformátorů je, že:
    • Poslední vrstva vždy poskytuje nejlepší přesnost sondy
    • Sondování funguje pouze na konvolučních sítích
    • Volba vrstvy nikdy neovlivní výsledky sondy
    • Mezivrstvy často předčí poslední vrstvu pro přenos
  5. Kromě benchmarkingu se lineární sondy stále více používají v interpretovatelnosti:
    • Zjistěte, zda je koncept jako pravdivost zakódován ve skrytých stavech
    • Komprimujte modely pro mobilní nasazení
    • Během předtrénování vyměňte optimalizátor
    • Automaticky generujte nová tréninková data
  6. Klíčovým metodologickým rizikem při interpretaci vysoké přesnosti sondy je, že:
    • Páteř tajně trénuje
    • Sonda možná využívá spíše falešnou korelaci než skutečný koncept
    • Lineární sondy se nemohou přesadit
    • Ztráta křížové entropie nelze použít
  7. To compare two backbone layers with linear probes, what should remain consistent?
    • The feature vectors from each layer
    • The layer being evaluated
    • The task labels, data split and probe-training protocol
    • The activation values themselves
  8. Why might feature normalization and learning-rate sweeps be used in a probe evaluation?
    • To update the frozen backbone
    • To add hidden nonlinear layers to the probe
    • To guarantee the concept is causally used
    • To reduce optimization and scale effects that could distort the representation comparison