Logit Lens ومسابقة العدسة المضبوطة

تظهر الإجابات والتفسيرات أثناء إجراء الاختبار.

1. ماذا تفعل عدسة لوجيت؟
   • يطبق عملية إلغاء التضمين النهائية للنموذج على الحالات المخفية المتوسطة لقراءة التنبؤات لكل طبقة
   • يضيف طبقات جديدة للمحول
   • يزيل الانتباه عن النموذج
   • يترجم بين اللغات البشرية
2. ما هو التحسين الرئيسي الذي تضيفه العدسة المضبوطة على العدسة اللوغاريتمية الخام؟
   • ويستخدم مفردات أكبر
   • يقوم بتدريب خريطة صغيرة لكل طبقة لترجمة الحالات المخفية إلى الأساس النهائي
   • إنه يلغي الحاجة إلى أي unembedding
   • إنه يعمل فقط على نماذج الصور
3. ما هي البنية الموجودة في المحولات التي تجعل هذه العدسات ممكنة؟
   • المرشحات التلافيفية
   • الرمز المميز
   • الدفق المتبقي الإضافي الذي يقوم إلغاء التضمين بإسقاطه لاحقًا على السجلات
   • معدل التعلم للمحسن
4. من الذي قدم عدسة لوجيت الأصلية، ومتى تقريبًا؟
   • ديب مايند في عام 2015
   • OpenAI في عام 2018
   • Google في عام 2012
   • الحنين إلى الماضي في عام 2020
5. أين تظهر العدسة اللوغاريتمية غالبًا الإجابة النهائية "التبلور"؟
   • في طبقات متوسطة إلى متأخرة
   • فقط في الطبقة الأولى
   • أبدا، الجواب يظهر دفعة واحدة
   • خارج النموذج تماما
6. لماذا قد تكون العدسة اللوجيتية الخام غير موثوقة في الطبقات المبكرة؟
   • الطبقات المبكرة لا تحتوي على خلايا عصبية
   • ولا تتماشى حالاتها المخفية بعد مع أساس الإخراج النهائي الذي تتوقعه عملية إلغاء التضمين
   • لا يتم استخدام الطبقات المبكرة أبدًا في التنبؤ
   • مصفوفة unembedding عشوائية
7. What does the model’s final unembedding map a residual-stream vector into?
   • A new set of transformer layers
   • A similarity graph over training examples
   • Vocabulary logits that can be converted into token probabilities
   • A gradient clipping threshold
8. Why can an early-layer raw logit-lens prediction be misleading?
   • The layer has already generated the full answer
   • The tokenizer has been removed
   • The unembedding only works on images
   • The intermediate state may not yet be aligned with the final output basis