اختبار مرتبط بالدليل · متوسط المستوى
الاختبار الخطي واختبار تقييم الميزات المجمدة
يفحص ما تقيسه المقاييس الخطية، كيفية مقارنة الطبقات المجمدة ولماذا لا يمكن لنجاح المقاييس وحده إثبات الاستخدام السببي أو القابلية للثبات.
سؤال 1 من 8
في المسبار الخطي القياسي، ما هي المعلمات التي يتم تحديثها أثناء التدريب؟
معاينة كل سؤال8 أسئلة
تظهر الإجابات والتفسيرات أثناء إجراء الاختبار.
- في المسبار الخطي القياسي، ما هي المعلمات التي يتم تحديثها أثناء التدريب؟
- فقط المصنف الخطي المضاف حديثًا في الأعلى
- العمود الفقري بأكمله بالإضافة إلى الطبقة الخطية
- العمود الفقري فقط، مع ترك المصنف ثابتًا
- طبقة التضمين وكتلة الاهتمام النهائية
- What does high linear-probe accuracy most directly show?
- The backbone causally uses the feature for every prediction
- The labels are decodable by a linear classifier from the frozen features under that dataset and protocol
- The representation is robust to every distribution shift
- The probe has identified a human-interpretable mechanism
- بالمقارنة مع الضبط الدقيق الكامل، يعد الفحص الخطي جذابًا في المقام الأول لأنه:
- أكثر دقة في كل مهمة
- مضمون للتعميم بشكل أفضل من التوزيع
- أرخص في الحوسبة والذاكرة ويعطي قراءة أوضح لجودة الميزات
- الطريقة الوحيدة لاستخدام نموذج تم تدريبه مسبقًا
- من النتائج التجريبية الشائعة عند فحص المحولات ما يلي:
- الطبقة النهائية تعطي دائمًا أفضل دقة للمسبار
- التحقيق يعمل فقط على الشبكات التلافيفية
- لا يؤثر اختيار الطبقة أبدًا على نتائج المسبار
- غالبًا ما تتفوق الطبقات المتوسطة على الطبقة الأخيرة في النقل
- إلى جانب قياس الأداء، يتم استخدام المجسات الخطية بشكل متزايد في إمكانية التفسير من أجل:
- اكتشاف ما إذا كان مفهوم مثل الصدق مشفرًا في حالات مخفية
- ضغط النماذج للنشر على الأجهزة المحمولة
- استبدل المحسن أثناء التدريب المسبق
- إنشاء بيانات تدريب جديدة تلقائيًا
- من المخاطر المنهجية الرئيسية عند تفسير دقة التحقيق العالية ما يلي:
- العمود الفقري يواصل التدريب سرا
- قد يكون المسبار يستغل الارتباط الزائف بدلاً من المفهوم الحقيقي
- لا يمكن أن تتجاوز المجسات الخطية
- لا يمكن استخدام الخسارة عبر الإنتروبيا
- To compare two backbone layers with linear probes, what should remain consistent?
- The feature vectors from each layer
- The layer being evaluated
- The task labels, data split and probe-training protocol
- The activation values themselves
- Why might feature normalization and learning-rate sweeps be used in a probe evaluation?
- To update the frozen backbone
- To add hidden nonlinear layers to the probe
- To guarantee the concept is causally used
- To reduce optimization and scale effects that could distort the representation comparison