Kuis terkait panduan · Sedang Tingkat

Lensa Logit dan Kuis Lensa yang Disetel

Memeriksa pembacaan lapisan menengah, struktur aliran sisa, penerjemah lensa yang disetel, dan batasan lensa logit mentah.

Jalur panduan terkaitLensa Logit Dan Lensa yang Disetel
Pertanyaan 1 dari 8

Apa fungsi lensa logit?

Pratinjau setiap pertanyaan8 pertanyaan

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

  1. Apa fungsi lensa logit?
    • Menerapkan pelepasan akhir model ke status tersembunyi perantara untuk membaca prediksi per lapisan
    • Menambahkan lapisan baru ke transformator
    • Menghilangkan perhatian dari model
    • Menerjemahkan antara bahasa manusia
  2. Peningkatan penting apa yang ditambahkan oleh lensa yang disetel dibandingkan lensa logit mentah?
    • Ini menggunakan kosakata yang lebih besar
    • Ini melatih peta affine kecil per lapisan untuk menerjemahkan keadaan tersembunyi ke dalam basis akhir
    • Ini menghilangkan kebutuhan untuk melakukan unembedding
    • Ini hanya berfungsi pada model gambar
  3. Struktur transformator apa yang memungkinkan lensa ini?
    • Filter konvolusional
    • Tokenizernya
    • Aliran sisa aditif yang kemudian diproyeksikan oleh unembedding ke logit
    • Kecepatan pembelajaran pengoptimal
  4. Siapa yang memperkenalkan lensa logit asli, dan kira-kira kapan?
    • Deep Mind pada tahun 2015
    • OpenAI pada tahun 2018
    • Google pada tahun 2012
    • nostalgia pada tahun 2020
  5. Di manakah lensa logit sering menunjukkan jawaban akhir 'mengkristal'?
    • Pada lapisan menengah hingga akhir
    • Hanya di lapisan pertama
    • Tidak pernah, jawabannya muncul sekaligus
    • Di luar model sepenuhnya
  6. Mengapa lensa logit mentah tidak dapat diandalkan di lapisan awal?
    • Lapisan awal tidak memiliki neuron
    • Status tersembunyi mereka belum selaras dengan basis hasil akhir yang diharapkan oleh unembedding
    • Lapisan awal tidak pernah digunakan dalam prediksi
    • Matriks yang tidak disematkan bersifat acak
  7. What does the model’s final unembedding map a residual-stream vector into?
    • A new set of transformer layers
    • A similarity graph over training examples
    • Vocabulary logits that can be converted into token probabilities
    • A gradient clipping threshold
  8. Why can an early-layer raw logit-lens prediction be misleading?
    • The layer has already generated the full answer
    • The tokenizer has been removed
    • The unembedding only works on images
    • The intermediate state may not yet be aligned with the final output basis