Gids-gekoppelde quiz · Middelmatig Niveau
Lineaire sondeer- en bevroren feature-evaluatiequiz
Controleert wat lineaire sondes meten, hoe bevroren lagen moeten worden vergeleken en waarom de nauwkeurigheid van de sonde alleen geen causaal gebruik of robuustheid kan vaststellen.
Vraag 1 van 8
Welke parameters worden in een standaard lineaire sonde bijgewerkt tijdens de training?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Welke parameters worden in een standaard lineaire sonde bijgewerkt tijdens de training?
- Alleen de nieuw toegevoegde lineaire classificator bovenaan
- De gehele ruggengraat plus de lineaire laag
- Alleen de ruggengraat, waardoor de classificator vast blijft
- De inbeddingslaag en het laatste aandachtsblok
- What does high linear-probe accuracy most directly show?
- The backbone causally uses the feature for every prediction
- The labels are decodable by a linear classifier from the frozen features under that dataset and protocol
- The representation is robust to every distribution shift
- The probe has identified a human-interpretable mechanism
- Vergeleken met volledige fijnafstemming is lineair tasten vooral aantrekkelijk omdat het:
- Nauwkeuriger bij elke taak
- Gegarandeerd beter te generaliseren buiten de distributie
- Goedkoper in rekenkracht en geheugen en geeft een betere leesbaarheid van de functiekwaliteit
- De enige manier om een vooraf getraind model te gebruiken
- Een veel voorkomende empirische bevinding bij het onderzoeken van transformatoren is dat:
- De laatste laag geeft altijd de beste tasternauwkeurigheid
- Probing werkt alleen op convolutionele netwerken
- De laagkeuze heeft nooit invloed op de proberesultaten
- Tussenlagen presteren vaak beter dan de laatste laag wat betreft overdracht
- Naast benchmarking worden lineaire probes steeds vaker gebruikt voor de interpreteerbaarheid om:
- Ontdek of een concept als waarheidsgetrouwheid in verborgen toestanden is gecodeerd
- Comprimeer modellen voor mobiele implementatie
- Vervang de optimizer tijdens de voortraining
- Genereer automatisch nieuwe trainingsgegevens
- Een belangrijk methodologisch risico bij het interpreteren van een hoge sondenauwkeurigheid is dat:
- De ruggengraat blijft in het geheim trainen
- De sonde maakt mogelijk gebruik van een valse correlatie in plaats van het ware concept
- Lineaire sondes kunnen niet overpassen
- Er kan geen gebruik worden gemaakt van kruis-entropieverlies
- To compare two backbone layers with linear probes, what should remain consistent?
- The feature vectors from each layer
- The layer being evaluated
- The task labels, data split and probe-training protocol
- The activation values themselves
- Why might feature normalization and learning-rate sweeps be used in a probe evaluation?
- To update the frozen backbone
- To add hidden nonlinear layers to the probe
- To guarantee the concept is causally used
- To reduce optimization and scale effects that could distort the representation comparison