Yorumlanabilirlik Testi için Seyrek Otomatik Kodlayıcılar

Testi çözdüğünüzde cevaplar ve açıklamalar görünür.

1. Seyrek bir otomatik kodlayıcıyı bir modelin aktivasyonları konusunda eğitmenin temel amacı nedir?
   • Karışık aktivasyonları yorumlanabilir, çoğunlukla izole edilmiş özelliklere ayrıştırmak
   • Modeli daha hızlı çalışacak şekilde sıkıştırmak için
   • Metni diller arasında çevirmek için
   • Karşılaştırmalarda modelin doğruluğunu artırmak için
2. How does an SAE’s sparsity penalty affect hidden-unit activations?
   • It guarantees each unit represents exactly one concept
   • It encourages only a small subset of the wider hidden layer to activate for an input
   • It makes every hidden unit activate equally
   • It removes the reconstruction objective
3. 2024'te SAE'leri Claude 3 Sonnet'e ölçeklendirirken Anthropic kabaca kaç özellik çıkardı?
   • Yaklaşık 500
   • Yaklaşık 2.000
   • Yaklaşık 34 milyon
   • Yaklaşık 100 milyar
4. 'Altın Kapı Claude' gösterisi neyi gösterdi?
   • SAE'lerin yalnızca görüntüler üzerinde eğitilebileceği
   • Modelin artık metin üretememesi
   • Bu özelliklerin çıktılar üzerinde hiçbir etkisi yoktur
   • Tek bir özelliği yüksekte tutmak nedensel olarak modelin davranışını yönlendirir
5. Neden bir SAE'deki gizli katman genellikle yeniden oluşturduğu aktivasyondan çok daha geniştir?
   • Kavramlar gerçekte ihtiyaç duyulandan daha az boyutta üst üste bindirildiğinden, daha fazla birim onları çözmeye yardımcı olur
   • Eğitimi daha ucuz hale getirmek için
   • Çünkü daha geniş katmanlar her zaman daha doğrudur
   • Parametre sayısını azaltmak için
6. Mevcut seyrek otomatik kodlayıcıların bilinen sınırlamalarından hangisidir?
   • Gradyan iniş ile eğitilemezler
   • Bir konseptin birçok ayrı özelliğe bölündüğü özellik bölme
   • Yalnızca evrişimli ağlarda çalışırlar
   • Herhangi bir insan etiketleme ihtiyacını ortadan kaldırırlar
7. Which two objectives are commonly combined when training a sparse autoencoder?
   • A policy gradient and value loss
   • A next-token loss and a contrastive loss
   • Reconstruction error and a penalty on hidden activations
   • A calibration error and classification accuracy
8. What does a TopK sparse autoencoder do to encourage sparsity?
   • Keeps the K largest input pixels and discards the decoder
   • Sets all encoder weights to zero
   • Trains K different tokenizers
   • Keeps only the K largest hidden activations for an input