Kvíz spojený s průvodcem · Střední úroveň
Lineární sondování a hodnotící kvíz zmrazených prvků
Kontroluje, co lineární sondy měří, jak porovnávat zmrazené vrstvy a proč samotná přesnost sondy nemůže stanovit příčinné použití nebo robustnost.
Otázka 1 z 8
Které parametry se u standardní lineární sondy aktualizují během tréninku?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Které parametry se u standardní lineární sondy aktualizují během tréninku?
- Pouze nově přidaný lineární klasifikátor nahoře
- Celá páteř plus lineární vrstva
- Pouze páteř, klasifikátor ponechán pevný
- Vrstva pro vkládání a poslední blok pozornosti
- What does high linear-probe accuracy most directly show?
- The backbone causally uses the feature for every prediction
- The labels are decodable by a linear classifier from the frozen features under that dataset and protocol
- The representation is robust to every distribution shift
- The probe has identified a human-interpretable mechanism
- Ve srovnání s úplným jemným doladěním je lineární snímání primárně atraktivní, protože:
- Přesnější na každý úkol
- Zaručeno lepší zobecnění mimo distribuci
- Levnější ve výpočtech a paměti a poskytuje čistší čtení kvality funkcí
- Jediný způsob, jak použít předtrénovaný model
- Společným empirickým zjištěním při zkoušení transformátorů je, že:
- Poslední vrstva vždy poskytuje nejlepší přesnost sondy
- Sondování funguje pouze na konvolučních sítích
- Volba vrstvy nikdy neovlivní výsledky sondy
- Mezivrstvy často předčí poslední vrstvu pro přenos
- Kromě benchmarkingu se lineární sondy stále více používají v interpretovatelnosti:
- Zjistěte, zda je koncept jako pravdivost zakódován ve skrytých stavech
- Komprimujte modely pro mobilní nasazení
- Během předtrénování vyměňte optimalizátor
- Automaticky generujte nová tréninková data
- Klíčovým metodologickým rizikem při interpretaci vysoké přesnosti sondy je, že:
- Páteř tajně trénuje
- Sonda možná využívá spíše falešnou korelaci než skutečný koncept
- Lineární sondy se nemohou přesadit
- Ztráta křížové entropie nelze použít
- To compare two backbone layers with linear probes, what should remain consistent?
- The feature vectors from each layer
- The layer being evaluated
- The task labels, data split and probe-training protocol
- The activation values themselves
- Why might feature normalization and learning-rate sweeps be used in a probe evaluation?
- To update the frozen backbone
- To add hidden nonlinear layers to the probe
- To guarantee the concept is causally used
- To reduce optimization and scale effects that could distort the representation comparison