Quiz sur le sondage linéaire et l'évaluation des fonctionnalités gelées

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

1. Dans une sonde linéaire standard, quels paramètres sont mis à jour pendant l'entraînement ?
   • Seul le classificateur linéaire nouvellement ajouté en haut
   • L'ensemble du squelette plus la couche linéaire
   • Seulement la colonne vertébrale, laissant le classificateur fixe
   • La couche d'intégration et le bloc d'attention final
2. What does high linear-probe accuracy most directly show?
   • The backbone causally uses the feature for every prediction
   • The labels are decodable by a linear classifier from the frozen features under that dataset and protocol
   • The representation is robust to every distribution shift
   • The probe has identified a human-interpretable mechanism
3. Comparé au réglage fin complet, le sondage linéaire est avant tout intéressant car il est :
   • Plus précis sur chaque tâche
   • Garanti de mieux généraliser hors distribution
   • Moins cher en calcul et en mémoire et donne une lecture plus claire de la qualité des fonctionnalités
   • La seule façon d'utiliser un modèle pré-entraîné
4. Une conclusion empirique courante lors de l’analyse des transformateurs est la suivante :
   • La couche finale donne toujours la meilleure précision de sonde
   • Le sondage ne fonctionne que sur les réseaux convolutifs
   • Le choix de la couche n'affecte jamais les résultats de la sonde
   • Les couches intermédiaires surpassent souvent la dernière couche pour le transfert
5. Au-delà du benchmarking, les sondes linéaires sont de plus en plus utilisées en interprétabilité pour :
   • Détecter si un concept tel que la véracité est codé dans des états cachés
   • Compresser les modèles pour le déploiement mobile
   • Remplacer l'optimiseur pendant le pré-entraînement
   • Générez automatiquement de nouvelles données d'entraînement
6. Un risque méthodologique clé lors de l’interprétation d’une précision élevée de la sonde est le suivant :
   • La colonne vertébrale continue secrètement de s'entraîner
   • La sonde exploite peut-être une fausse corrélation plutôt que le véritable concept.
   • Les sondes linéaires ne peuvent pas être surajustées
   • La perte d'entropie croisée ne peut pas être utilisée
7. To compare two backbone layers with linear probes, what should remain consistent?
   • The feature vectors from each layer
   • The layer being evaluated
   • The task labels, data split and probe-training protocol
   • The activation values themselves
8. Why might feature normalization and learning-rate sweeps be used in a probe evaluation?
   • To update the frozen backbone
   • To add hidden nonlinear layers to the probe
   • To guarantee the concept is causally used
   • To reduce optimization and scale effects that could distort the representation comparison