اختبار مرتبط بالدليل · صعب المستوى
اختبار ناقلات الوظائف وتمثيلات المهام
دراسة كيفية استخلاص نواقل الوظائف من رؤوس الانتباه، وحقنها في الحالات المخفية، واختبارها عبر سياقات المهام.
سؤال 1 من 8
ماذا يمثل المتجه الوظيفي في نماذج اللغة المدروسة؟
معاينة كل سؤال8 أسئلة
تظهر الإجابات والتفسيرات أثناء إجراء الاختبار.
- ماذا يمثل المتجه الوظيفي في نماذج اللغة المدروسة؟
- A compact activation-space representation associated with a demonstrated task
- The model’s full weight matrix
- A single token embedding in every setting
- The optimizer’s learning rate
- كيف يتم بناء ناقل الوظيفة عادة؟
- من خلال جمع كل تضمينات الكلمة في المفردات
- من خلال حساب متوسط مخرجات رؤوس الانتباه التي تحمل مهمة محددة على المطالبات النموذجية
- من خلال ضبط النموذج على مثال واحد
- من خلال قراءة احتمالات softmax النهائية
- ماذا لاحظ ورق المتجهات الوظيفية بعد حقن متجه في مطالبة صفرية؟
- The model always crashed
- It guaranteed correct answers on any task
- It could trigger the associated task in the tested settings
- It permanently changed the model weights
- ما هي تقنية التحليل التي تدعم العثور على الرؤوس التي تحمل ناقل الوظيفة؟
- نزول متدرج على الخسارة
- بحث شعاع
- تنظيم التسرب
- تحليل الوساطة السببية
- ماذا توفر تجارب المتجهات الوظيفية دليلًا له؟
- Some models form reusable internal representations associated with tasks
- All language models only memorize text
- Every model has one universal task vector
- Tokenization alone determines every behavior
- Why are function vectors interesting to steering research?
- They guarantee safe or correct behavior
- They provide an activation-level intervention that can influence task behavior in tested settings
- They eliminate prompts for every application
- They make all model decisions fully transparent
- At what part of the transformer did the paper report strong function-vector effects?
- Only the input embedding table
- Only the final output logits
- Middle layers in the tested models
- المفردات الرمزية
- What happened when researchers summed some function vectors?
- The vectors always canceled to zero
- The model’s weights were permanently updated
- Every possible task was composed perfectly
- Some combinations triggered new complex tasks in the tested experiments