Doğrusal Problama ve Dondurulmuş Unsur Değerlendirme Testi

Testi çözdüğünüzde cevaplar ve açıklamalar görünür.

1. Standart bir doğrusal probta eğitim sırasında hangi parametreler güncellenir?
   • Üstte yalnızca yeni eklenen doğrusal sınıflandırıcı
   • Tüm omurga artı doğrusal katman
   • Sınıflandırıcıyı sabit bırakarak yalnızca omurga
   • Gömme katmanı ve son dikkat bloğu
2. What does high linear-probe accuracy most directly show?
   • The backbone causally uses the feature for every prediction
   • The labels are decodable by a linear classifier from the frozen features under that dataset and protocol
   • The representation is robust to every distribution shift
   • The probe has identified a human-interpretable mechanism
3. Tam ince ayar ile karşılaştırıldığında doğrusal problama öncelikli olarak çekicidir çünkü şu özelliklere sahiptir:
   • Her görevde daha doğru
   • Dağıtım dışında daha iyi genelleme yapılması garantilidir
   • Bilgi işlem ve bellek açısından daha ucuzdur ve özellik kalitesinde daha net bir okuma sağlar
   • Önceden eğitilmiş bir modeli kullanmanın tek yolu
4. Transformatörleri incelerken yaygın bir ampirik bulgu şudur:
   • Son katman her zaman en iyi prob doğruluğunu sağlar
   • Problama yalnızca evrişimsel ağlarda çalışır
   • Katman seçimi hiçbir zaman araştırma sonuçlarını etkilemez
   • Ara katmanlar genellikle aktarım açısından son katmandan daha iyi performans gösterir
5. Kıyaslamanın ötesinde, doğrusal problar aşağıdaki amaçlarla yorumlanabilirlik açısından giderek daha fazla kullanılmaktadır:
   • Doğruluk gibi bir kavramın gizli durumlarda kodlanıp kodlanmadığını tespit edin
   • Mobil dağıtım için modelleri sıkıştırın
   • Ön eğitim sırasında optimize ediciyi değiştirin
   • Yeni eğitim verilerini otomatik olarak oluştur
6. Yüksek prob doğruluğunu yorumlarken önemli bir metodolojik risk şudur:
   • Omurga gizlice eğitime devam ediyor
   • Araştırma, gerçek kavram yerine sahte bir korelasyondan yararlanıyor olabilir
   • Doğrusal problar fazla takılamaz
   • Çapraz entropi kaybı kullanılamaz
7. To compare two backbone layers with linear probes, what should remain consistent?
   • The feature vectors from each layer
   • The layer being evaluated
   • The task labels, data split and probe-training protocol
   • The activation values themselves
8. Why might feature normalization and learning-rate sweeps be used in a probe evaluation?
   • To update the frozen backbone
   • To add hidden nonlinear layers to the probe
   • To guarantee the concept is causally used
   • To reduce optimization and scale effects that could distort the representation comparison