Gids-gekoppelde quiz · Middelmatig Niveau

Lineaire sondeer- en bevroren feature-evaluatiequiz

Controleert wat lineaire sondes meten, hoe bevroren lagen moeten worden vergeleken en waarom de nauwkeurigheid van de sonde alleen geen causaal gebruik of robuustheid kan vaststellen.

Vraag 1 van 8

Welke parameters worden in een standaard lineaire sonde bijgewerkt tijdens de training?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Welke parameters worden in een standaard lineaire sonde bijgewerkt tijdens de training?
    • Alleen de nieuw toegevoegde lineaire classificator bovenaan
    • De gehele ruggengraat plus de lineaire laag
    • Alleen de ruggengraat, waardoor de classificator vast blijft
    • De inbeddingslaag en het laatste aandachtsblok
  2. What does high linear-probe accuracy most directly show?
    • The backbone causally uses the feature for every prediction
    • The labels are decodable by a linear classifier from the frozen features under that dataset and protocol
    • The representation is robust to every distribution shift
    • The probe has identified a human-interpretable mechanism
  3. Vergeleken met volledige fijnafstemming is lineair tasten vooral aantrekkelijk omdat het:
    • Nauwkeuriger bij elke taak
    • Gegarandeerd beter te generaliseren buiten de distributie
    • Goedkoper in rekenkracht en geheugen en geeft een betere leesbaarheid van de functiekwaliteit
    • De enige manier om een vooraf getraind model te gebruiken
  4. Een veel voorkomende empirische bevinding bij het onderzoeken van transformatoren is dat:
    • De laatste laag geeft altijd de beste tasternauwkeurigheid
    • Probing werkt alleen op convolutionele netwerken
    • De laagkeuze heeft nooit invloed op de proberesultaten
    • Tussenlagen presteren vaak beter dan de laatste laag wat betreft overdracht
  5. Naast benchmarking worden lineaire probes steeds vaker gebruikt voor de interpreteerbaarheid om:
    • Ontdek of een concept als waarheidsgetrouwheid in verborgen toestanden is gecodeerd
    • Comprimeer modellen voor mobiele implementatie
    • Vervang de optimizer tijdens de voortraining
    • Genereer automatisch nieuwe trainingsgegevens
  6. Een belangrijk methodologisch risico bij het interpreteren van een hoge sondenauwkeurigheid is dat:
    • De ruggengraat blijft in het geheim trainen
    • De sonde maakt mogelijk gebruik van een valse correlatie in plaats van het ware concept
    • Lineaire sondes kunnen niet overpassen
    • Er kan geen gebruik worden gemaakt van kruis-entropieverlies
  7. To compare two backbone layers with linear probes, what should remain consistent?
    • The feature vectors from each layer
    • The layer being evaluated
    • The task labels, data split and probe-training protocol
    • The activation values themselves
  8. Why might feature normalization and learning-rate sweeps be used in a probe evaluation?
    • To update the frozen backbone
    • To add hidden nonlinear layers to the probe
    • To guarantee the concept is causally used
    • To reduce optimization and scale effects that could distort the representation comparison