Rehber bağlantılı sınav · Orta Seviye

Logit Lens ve Ayarlanmış Lens Testi

Ara katman okumalarını, artık akış yapısını, ayarlanmış mercek çeviricisini ve ham logit merceğin sınırlamalarını kontrol eder.

İlgili kılavuz yollarıLogit Lens ve Ayarlanmış Lens
Soru 1 arasında 8

Logit lens ne işe yarar?

Her soruyu önizleyin8 sorular

Testi çözdüğünüzde cevaplar ve açıklamalar görünür.

  1. Logit lens ne işe yarar?
    • Katman başına tahminleri okumak için modelin nihai yerleştirmeyi kaldırma işlemini ara gizli durumlara uygular
    • Transformatöre yeni katmanlar ekler
    • Dikkati modelden uzaklaştırır
    • İnsan dilleri arasında çeviri yapar
  2. Ayarlanmış lens, ham logit lense göre hangi önemli gelişmeyi sağlıyor?
    • Daha geniş bir kelime dağarcığı kullanır
    • Gizli durumları nihai temele dönüştürmek için katman başına küçük bir afin haritayı eğitir
    • Herhangi bir yerleştirme ihtiyacını ortadan kaldırır
    • Yalnızca görüntü modellerinde çalışır
  3. Transformatörlerdeki hangi yapı bu lensleri mümkün kılıyor?
    • Evrişimli filtreler
    • Belirteçleyici
    • Gömülü olmayan işlemin daha sonra logit'lere yansıttığı ilave artık akış
    • Optimize edicinin öğrenme oranı
  4. Orijinal logit lensi kim ve yaklaşık olarak ne zaman tanıttı?
    • 2015 yılında DeepMind
    • OpenAI 2018'de
    • Google, 2012'de
    • 2020'de nostalji uzmanı
  5. Logit lens genellikle nihai cevabı 'kristalleşme' olarak nerede gösterir?
    • Orta-geç katmanlarda
    • Yalnızca ilk katmanda
    • Asla, cevap bir anda ortaya çıkıyor
    • Tamamen modelin dışında
  6. Ham logit lens ilk katmanlarda neden güvenilmez olabilir?
    • İlk katmanlarda nöron yoktur
    • Gizli durumları, yerleştirmeden çıkarmanın beklediği nihai çıktı esasıyla henüz uyumlu değil
    • Erken katmanlar hiçbir zaman tahminde kullanılmaz
    • Gömmeden çıkarma matrisi rastgeledir
  7. What does the model’s final unembedding map a residual-stream vector into?
    • A new set of transformer layers
    • A similarity graph over training examples
    • Vocabulary logits that can be converted into token probabilities
    • A gradient clipping threshold
  8. Why can an early-layer raw logit-lens prediction be misleading?
    • The layer has already generated the full answer
    • The tokenizer has been removed
    • The unembedding only works on images
    • The intermediate state may not yet be aligned with the final output basis