اختبار مرتبط بالدليل · صعب المستوى
أجهزة الترميز التلقائي المتفرقة لاختبار قابلية التفسير
يتحقق من إعادة بناء وحدة التشفير التلقائي المتفرقة والتناثر، وميزات التنشيط، وتوسيع العرض، وتقسيم الميزات، وتجارب التوجيه السببية.
سؤال 1 من 8
ما هو الغرض الرئيسي من تدريب جهاز التشفير التلقائي المتناثر على عمليات تنشيط النموذج؟
معاينة كل سؤال8 أسئلة
تظهر الإجابات والتفسيرات أثناء إجراء الاختبار.
- ما هو الغرض الرئيسي من تدريب جهاز التشفير التلقائي المتناثر على عمليات تنشيط النموذج؟
- لتحليل عمليات التنشيط المتشابكة إلى ميزات قابلة للتفسير ومعزولة في الغالب
- لضغط النموذج بحيث يعمل بشكل أسرع
- لترجمة النص بين اللغات
- لزيادة دقة النموذج على المعايير
- How does an SAE’s sparsity penalty affect hidden-unit activations?
- It guarantees each unit represents exactly one concept
- It encourages only a small subset of the wider hidden layer to activate for an input
- It makes every hidden unit activate equally
- It removes the reconstruction objective
- ما هو عدد الميزات التي استخرجتها Anthropic تقريبًا عند توسيع نطاق SAEs إلى Claude 3 Sonnet في عام 2024؟
- حوالي 500
- حوالي 2000
- حوالي 34 مليون
- حوالي 100 مليار
- ماذا أظهرت مظاهرة "البوابة الذهبية Claude"؟
- لا يمكن تدريب SAEs إلا على الصور
- أن النموذج لم يعد قادرًا على إنتاج النص
- هذه الميزات ليس لها أي تأثير على المخرجات
- إن تثبيت ميزة واحدة بشكل عالٍ يوجه سلوك النموذج بشكل سببي
- لماذا تكون الطبقة المخفية في SAE أوسع بكثير من التنشيط الذي تعيد بناءه؟
- نظرًا لأن المفاهيم متراكبة في أبعاد أقل مما تحتاج إليه حقًا، فإن المزيد من الوحدات يساعد في حلها
- لجعل التدريب أرخص
- لأن الطبقات الأوسع تكون دائمًا أكثر دقة
- لتقليل عدد المعلمات
- ما هو القيد المعروف لأجهزة التشفير التلقائي المتفرقة الحالية؟
- لا يمكن تدريبهم على النسب المتدرج
- تقسيم الميزات، حيث ينقسم المفهوم الواحد إلى العديد من الميزات المنفصلة
- إنهم يعملون فقط على الشبكات التلافيفية
- أنها تلغي الحاجة إلى أي وضع العلامات البشرية
- Which two objectives are commonly combined when training a sparse autoencoder?
- A policy gradient and value loss
- A next-token loss and a contrastive loss
- Reconstruction error and a penalty on hidden activations
- A calibration error and classification accuracy
- What does a TopK sparse autoencoder do to encourage sparsity?
- Keeps the K largest input pixels and discards the decoder
- Sets all encoder weights to zero
- Trains K different tokenizers
- Keeps only the K largest hidden activations for an input