Kuiz berkaitan panduan · Sederhana Tahap

Logit Lens dan Kuiz Lens Ditala

Menyemak bacaan lapisan pertengahan, struktur aliran sisa, penterjemah kanta yang ditala dan had kanta logit mentah.

Laluan panduan yang berkaitanKanta Logit Dan Kanta Ditala
soalan 1 daripada 8

Apakah yang dilakukan oleh kanta logit?

Pratonton setiap soalan8 soalan

Jawapan dan penjelasan muncul semasa anda mengambil kuiz.

  1. Apakah yang dilakukan oleh kanta logit?
    • Menggunakan nyahbenam terakhir model pada keadaan tersembunyi perantaraan untuk membaca ramalan setiap lapisan
    • Menambah lapisan baharu pada pengubah
    • Mengeluarkan perhatian daripada model
    • Menterjemah antara bahasa manusia
  2. Apakah penambahbaikan utama yang ditambah oleh kanta yang ditala berbanding kanta logit mentah?
    • Ia menggunakan perbendaharaan kata yang lebih besar
    • Ia melatih peta afin setiap lapisan kecil untuk menterjemah keadaan tersembunyi ke dalam asas terakhir
    • Ia menghilangkan keperluan untuk apa-apa unembedding
    • Ia hanya berfungsi pada model imej
  3. Apakah struktur dalam transformer yang menjadikan kanta ini mungkin?
    • Penapis konvolusi
    • Tokenizer
    • Aliran sisa aditif yang unembedding kemudiannya diproyeksikan ke logit
    • Kadar pembelajaran pengoptimum
  4. Siapa yang memperkenalkan kanta logit asal, dan kira-kira bila?
    • DeepMind pada tahun 2015
    • OpenAI pada 2018
    • Google pada tahun 2012
    • nostalgebraist pada tahun 2020
  5. Di manakah kanta logit sering menunjukkan jawapan akhir 'menghablur'?
    • Dalam lapisan pertengahan hingga akhir
    • Hanya pada lapisan pertama sahaja
    • Tidak pernah, jawapannya muncul serentak
    • Di luar model sepenuhnya
  6. Mengapakah kanta logit mentah tidak boleh dipercayai pada lapisan awal?
    • Lapisan awal tidak mempunyai neuron
    • Keadaan tersembunyi mereka belum lagi sejajar dengan asas keluaran akhir yang dijangkakan tidak dibenamkan
    • Lapisan awal tidak pernah digunakan dalam ramalan
    • Matriks yang tidak dibenamkan adalah rawak
  7. What does the model’s final unembedding map a residual-stream vector into?
    • A new set of transformer layers
    • A similarity graph over training examples
    • Vocabulary logits that can be converted into token probabilities
    • A gradient clipping threshold
  8. Why can an early-layer raw logit-lens prediction be misleading?
    • The layer has already generated the full answer
    • The tokenizer has been removed
    • The unembedding only works on images
    • The intermediate state may not yet be aligned with the final output basis