Quiz collegato alla guida · Medio Livello
Quiz sulla valutazione delle caratteristiche congelate e del sondaggio lineare
Controlla cosa misurano le sonde lineari, come confrontare gli strati congelati e perché la precisione della sonda da sola non può stabilire l'uso causale o la robustezza.
Domanda 1 di 8
In una sonda lineare standard, quali parametri vengono aggiornati durante l'addestramento?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- In una sonda lineare standard, quali parametri vengono aggiornati durante l'addestramento?
- Solo il classificatore lineare appena aggiunto in alto
- L'intera dorsale più lo strato lineare
- Solo la spina dorsale, lasciando fisso il classificatore
- Lo strato di incorporamento e il blocco dell'attenzione finale
- What does high linear-probe accuracy most directly show?
- The backbone causally uses the feature for every prediction
- The labels are decodable by a linear classifier from the frozen features under that dataset and protocol
- The representation is robust to every distribution shift
- The probe has identified a human-interpretable mechanism
- Rispetto alla messa a punto completa, il sondaggio lineare è principalmente interessante perché:
- Più preciso in ogni attività
- Garantito per generalizzare meglio fuori distribuzione
- Più economico in termini di elaborazione e memoria e offre una lettura più chiara della qualità delle funzionalità
- L'unico modo per utilizzare un modello preaddestrato
- Un risultato empirico comune quando si sondano i trasformatori è che:
- Lo strato finale garantisce sempre la migliore precisione della sonda
- Il sondaggio funziona solo su reti convoluzionali
- La scelta del livello non influisce mai sui risultati della sonda
- Gli strati intermedi spesso superano l'ultimo strato per il trasferimento
- Oltre al benchmarking, le sonde lineari sono sempre più utilizzate nell'interpretabilità per:
- Rileva se un concetto come veridicità è codificato in stati nascosti
- Comprimi modelli per la distribuzione mobile
- Sostituire l'ottimizzatore durante il pre-allenamento
- Genera automaticamente nuovi dati di allenamento
- Un rischio metodologico chiave quando si interpreta un’elevata precisione della sonda è che:
- La spina dorsale continua segretamente ad allenarsi
- L’indagine potrebbe sfruttare una correlazione spuria piuttosto che il concetto vero
- Le sonde lineari non possono adattarsi eccessivamente
- La perdita di entropia incrociata non può essere utilizzata
- To compare two backbone layers with linear probes, what should remain consistent?
- The feature vectors from each layer
- The layer being evaluated
- The task labels, data split and probe-training protocol
- The activation values themselves
- Why might feature normalization and learning-rate sweeps be used in a probe evaluation?
- To update the frozen backbone
- To add hidden nonlinear layers to the probe
- To guarantee the concept is causally used
- To reduce optimization and scale effects that could distort the representation comparison