Κουίζ γραμμικής ανίχνευσης και αξιολόγησης παγωμένων χαρακτηριστικών

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

1. Σε έναν τυπικό γραμμικό αισθητήρα, ποιες παράμετροι ενημερώνονται κατά τη διάρκεια της εκπαίδευσης;
   • Μόνο ο γραμμικός ταξινομητής που προστέθηκε πρόσφατα στην κορυφή
   • Ολόκληρη η ραχοκοκαλιά συν το γραμμικό στρώμα
   • Μόνο η ραχοκοκαλιά, αφήνοντας τον ταξινομητή σταθερό
   • Το στρώμα ενσωμάτωσης και το τελικό μπλοκ προσοχής
2. What does high linear-probe accuracy most directly show?
   • The backbone causally uses the feature for every prediction
   • The labels are decodable by a linear classifier from the frozen features under that dataset and protocol
   • The representation is robust to every distribution shift
   • The probe has identified a human-interpretable mechanism
3. Σε σύγκριση με την πλήρη λεπτομέρεια, η γραμμική ανίχνευση είναι κυρίως ελκυστική επειδή είναι:
   • Πιο ακριβής σε κάθε εργασία
   • Εγγυημένη καλύτερη γενίκευση εκτός διανομής
   • Φθηνότερο σε υπολογιστές και μνήμη και δίνει μια πιο καθαρή ανάγνωση σχετικά με την ποιότητα των χαρακτηριστικών
   • Ο μόνος τρόπος για να χρησιμοποιήσετε ένα προεκπαιδευμένο μοντέλο
4. Ένα κοινό εμπειρικό εύρημα κατά την ανίχνευση μετασχηματιστών είναι ότι:
   • Το τελικό στρώμα δίνει πάντα την καλύτερη ακρίβεια ανιχνευτή
   • Η ανίχνευση λειτουργεί μόνο σε συνελικτικά δίκτυα
   • Η επιλογή στρώματος δεν επηρεάζει ποτέ τα αποτελέσματα του ανιχνευτή
   • Τα ενδιάμεσα στρώματα συχνά υπερτερούν του τελευταίου στρώματος για μεταφορά
5. Πέρα από τη συγκριτική αξιολόγηση, οι γραμμικοί ανιχνευτές χρησιμοποιούνται όλο και περισσότερο στην ερμηνευτικότητα για:
   • Εντοπίστε εάν μια έννοια όπως η αλήθεια είναι κωδικοποιημένη σε κρυφές καταστάσεις
   • Συμπίεση μοντέλων για ανάπτυξη σε φορητές συσκευές
   • Αντικαταστήστε το βελτιστοποιητή κατά την προπόνηση
   • Δημιουργήστε αυτόματα νέα δεδομένα εκπαίδευσης
6. Ένας βασικός μεθοδολογικός κίνδυνος κατά την ερμηνεία μιας υψηλής ακρίβειας διερεύνησης είναι ότι:
   • Η ραχοκοκαλιά κρατά κρυφά την προπόνηση
   • Ο ανιχνευτής μπορεί να εκμεταλλεύεται μια ψεύτικη συσχέτιση παρά την αληθινή ιδέα
   • Οι γραμμικοί ανιχνευτές δεν μπορούν να υπερπροσαρμοστούν
   • Δεν μπορεί να χρησιμοποιηθεί απώλεια διασταυρούμενης εντροπίας
7. To compare two backbone layers with linear probes, what should remain consistent?
   • The feature vectors from each layer
   • The layer being evaluated
   • The task labels, data split and probe-training protocol
   • The activation values themselves
8. Why might feature normalization and learning-rate sweeps be used in a probe evaluation?
   • To update the frozen backbone
   • To add hidden nonlinear layers to the probe
   • To guarantee the concept is causally used
   • To reduce optimization and scale effects that could distort the representation comparison