عدسة Logit واختبار فك تشفير الطبقة المتوسطة

تظهر الإجابات والتفسيرات أثناء إجراء الاختبار.

1. ما هي القراءة التي تعيد استخدامها عدسة لوجيتية عادية للحصول على درجات المفردات من حالة متوسطة؟
   • A required new image classifier for every layer
   • The model's appropriate final normalization and unembedding output projection
   • A random dictionary sort with no model parameters
   • A separate retrained tokenizer for each prompt
2. لماذا يمكن تطبيق نفس إسقاط الإخراج رياضيا على أعماق تيار متبقية متعددة؟
   • Every layer must contain an identical copy of the final state
   • The entire transformer is a single linear mapping
   • All intermediate token scores are guaranteed identical
   • The states have compatible hidden dimensions, although their representations may not be equally calibrated for that readout
3. ما هي المشكلة التي تحلها "العدسة المضبوطة" بالنسبة للعدسة اللوغاريتمية العادية؟
   • فهو يصحح عدم التطابق لكل طبقة من خلال تحويل تقاربي تم تعلمه
   • إنه يلغي الحاجة إلى أي unembedding
   • يجعل النموذج أسرع في الاستدلال
   • يستبدل softmax بـ argmax
4. إذا كانت قراءة العدسة المتوسطة تفضل رمزًا واقعيًا صحيحًا، فما الذي تمت ملاحظته مباشرة؟
   • The unique causal location of the model's factual knowledge
   • A guarantee that all later output will be correct
   • That the particular probe maps that state to a high score for the token
   • The exact reasoning process of a conscious system
5. ما هي العدسة المنطقية الأكثر فائدة بشكل مباشر؟
   • ضغط أوزان النماذج
   • الترجمة بين اللغات
   • تشفير تفعيلات النموذج
   • مشاهدة كيف وأين يتشكل التنبؤ عبر العمق
6. Why can a plain final-head readout be misleading on early transformer states?
   • Early states always use a different vocabulary file
   • Their representation distributions can differ from the final state for which the head was trained
   • Every early-layer vector is necessarily unstructured noise
   • No matrix operation can be applied before the final layer
7. A lens uses a model with a fifty-thousand-entry vocabulary and a 768-dimensional hidden state. How many vocabulary logits does its unembedding produce?
   • 768, one score per hidden coordinate only
   • One, because the token must be chosen before projection
   • Fifty thousand, one score per vocabulary entry
   • Exactly the number of transformer layers
8. What does softmax add to a logit-lens vocabulary-score display?
   • A normalized distribution over the projected vocabulary scores
   • Proof that every displayed probability is a calibrated belief
   • A causal intervention on the model's hidden states
   • A replacement for the output projection's vocabulary dimension