Testowanie liniowe i quiz dotyczący oceny funkcji zamrożonych

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Które parametry są aktualizowane podczas uczenia w standardowej sondzie liniowej?
   • Tylko nowo dodany klasyfikator liniowy na górze
   • Cały szkielet plus warstwa liniowa
   • Tylko szkielet, pozostawiając klasyfikator niezmieniony
   • Warstwa osadzająca i ostatni blok uwagi
2. What does high linear-probe accuracy most directly show?
   • The backbone causally uses the feature for every prediction
   • The labels are decodable by a linear classifier from the frozen features under that dataset and protocol
   • The representation is robust to every distribution shift
   • The probe has identified a human-interpretable mechanism
3. W porównaniu z pełnym dostrojeniem, sondowanie liniowe jest atrakcyjne przede wszystkim dlatego, że:
   • Bardziej dokładny w każdym zadaniu
   • Gwarantowane lepsze uogólnienie dystrybucji
   • Tańsze pod względem mocy obliczeniowej i pamięci oraz zapewniają czystszy odczyt jakości funkcji
   • Jedynym sposobem na użycie wstępnie wytrenowanego modelu
4. Powszechnym wnioskiem empirycznym podczas badania transformatorów jest to, że:
   • Ostatnia warstwa zawsze zapewnia najlepszą dokładność sondy
   • Sondowanie działa tylko w sieciach splotowych
   • Wybór warstwy nigdy nie wpływa na wyniki sondy
   • Warstwy pośrednie często przewyższają ostatnią warstwę do transferu
5. Poza benchmarkingiem, sondy liniowe są coraz częściej wykorzystywane w celu interpretacji, aby:
   • Wykryj, czy koncepcja taka jak prawdomówność jest zakodowana w ukrytych stanach
   • Kompresuj modele do wdrożenia mobilnego
   • Wymień optymalizator podczas treningu wstępnego
   • Automatycznie generuj nowe dane treningowe
6. Kluczowym ryzykiem metodologicznym przy interpretacji wysokiej dokładności sondy jest to, że:
   • Kręgosłup w tajemnicy trenuje
   • Sonda może wykorzystywać fałszywą korelację, a nie prawdziwą koncepcję
   • Sondy liniowe nie mogą ulegać nadmiernemu dopasowaniu
   • Nie można zastosować utraty entropii krzyżowej
7. To compare two backbone layers with linear probes, what should remain consistent?
   • The feature vectors from each layer
   • The layer being evaluated
   • The task labels, data split and probe-training protocol
   • The activation values themselves
8. Why might feature normalization and learning-rate sweeps be used in a probe evaluation?
   • To update the frozen backbone
   • To add hidden nonlinear layers to the probe
   • To guarantee the concept is causally used
   • To reduce optimization and scale effects that could distort the representation comparison