Aktivasyon Yönlendirme ve Temsil Mühendisliği Sınavı

Testi çözdüğünüzde cevaplar ve açıklamalar görünür.

1. Modelin işleyişinin hangi noktasında aktivasyon direksiyonu müdahale ediyor?
   • Çıkarım anında, gizli aktivasyonları değiştirerek
   • Yalnızca ön eğitim sırasında
   • Veri toplama sırasında
   • Yalnızca çıktı metni yazdırıldıktan sonra
2. Yönlendirme vektörü yaygın olarak nasıl hesaplanır?
   • Bir matrisi rastgele başlatarak
   • Olumlu ve olumsuz istemlerin karşıtlığında aktivasyonlar arasındaki ortalama fark olarak
   • Katmanları modelden silerek
   • İstemdeki belirteçleri sayarak
3. Aktivasyon yönlendirmesinin neden işe yaradığının altında hangi hipotez yatıyor?
   • Modellerin verileri düz metin olarak saklaması fikri
   • Tüm nöronların aynı olduğu inancı
   • Birçok özelliğin kabaca doğrusal yönler olduğunu öne süren doğrusal temsil hipotezi
   • Modellerin kavramları temsil edemeyeceği iddiası
4. Yönlendirme vektörü kontrolünde ölçeklendirme katsayısı nedir?
   • Modelin kelime dağarcığı boyutu
   • Modeldeki katman sayısı
   • Eğitim öğrenme oranı
   • Davranışın seçilen yöne ne kadar güçlü bir şekilde itildiği
5. Bir modeli çok agresif bir şekilde yönlendirmenin bilinen riski nedir?
   • Çıktı tutarlılığı ve yetenekleri bozulabilir
   • Model kendini otomatik olarak eğitir
   • Dosya boyutu kontrolsüz bir şekilde büyüyor
   • Ağırlıkları kalıcı olarak yeniden yazar
6. Kelepçelenecek yorumlanabilir özellikleri bulmak için sıklıkla direksiyonla eşleştirilen teknik hangisidir?
   • JPEG sıkıştırma
   • Etkinleştirmeleri özelliklere ayıran seyrek otomatik kodlayıcılar
   • Alan adı kaydı
   • Disk birleştirme
7. How does activation steering differ from fine-tuning the model weights?
   • It retrains the model on a new labeled dataset
   • It changes the tokenizer vocabulary
   • It adds a vector to hidden activations during inference without updating the base weights
   • It replaces the attention layers with a classifier
8. A steering vector works on the prompts used to compute it but not on a different topic. Which limitation does this illustrate?
   • The vector must be an optimizer state
   • Steering always requires fine-tuning
   • A residual stream contains no features
   • The direction found from one prompt set may not generalize to other contexts