แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ

ตัวเข้ารหัสอัตโนมัติแบบกระจัดกระจายสำหรับแบบทดสอบการแยกคุณสมบัติ

ศึกษาพจนานุกรมคุณลักษณะกระจัดกระจายและการสร้างใหม่ด้วยการทดลองสะพานโกลเดนเกต ขอบเขตแฝง การบังคับเลี้ยว และโมเดลที่เสร็จสมบูรณ์มากเกินไป

คำถาม 1 ของ 8

Which interpretability difficulty motivates sparse dictionary learning for neural activations?

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. Which interpretability difficulty motivates sparse dictionary learning for neural activations?
    • Every model activation is already a complete dictionary definition
    • Several learned signals can overlap in an activation space
    • The tokenizer must be permanently removed
    • All neural weights are stored as image pixels
  2. What does an SAE sparsity constraint encourage for a given input?
    • Every feature to activate equally on every input
    • A mandatory removal of its decoder
    • A guarantee that every feature has exactly one perfect human label
    • Only a limited subset of learned feature activations to be nonzero
  3. ในงาน 'Scaling Monosemanticity' ของ Anthropic คุณลักษณะตัวอย่างที่มีชื่อเสียงคืออะไร
    • คุณสมบัติของสะพานโกลเดนเกต
    • คุณลักษณะสำหรับหมายเลขเจ็ด
    • มีลักษณะพิเศษเฉพาะสีฟ้าเท่านั้น
    • คุณลักษณะสำหรับสระ
  4. What does an overcomplete SAE dictionary mean?
    • It must activate every feature for every token
    • It contains no reconstruction mapping
    • It has more learned feature directions than input activation dimensions
    • It always requires less storage than the input vector
  5. What does a monosemantic feature label aim to describe in this research context?
    • A guarantee that the feature never responds to related examples
    • A feature associated with one interpretable concept
    • A language model that has only one parameter
    • A token represented by exactly one raw byte
  6. SAE จะถูกนำมาใช้เพื่อมีอิทธิพลต่อพฤติกรรมของแบบจำลองได้อย่างไร
    • โดยการหนีบเปิดหรือปิดคุณลักษณะเพื่อคัดท้ายเอาท์พุต
    • โดยการฝึกโมเดลทั้งหมดใหม่ตั้งแต่ต้น
    • โดยการลบโทเค็นไนเซอร์
    • โดยแปลงเป็นโมเดลรูปภาพ
  7. What does an SAE’s reconstruction residual measure for an activation vector?
    • The difference between two unrelated document titles
    • The total number of words in the model vocabulary
    • Only the model’s hardware temperature
    • The difference between the original activation and its decoded reconstruction
  8. When an SAE is fitted to collected activations of a frozen language model, which weights need to be trained for that fitting?
    • Every original language-model weight must be updated
    • Only the tokenizer’s character list
    • The SAE’s own encoder and decoder weights
    • No parameters of the SAE can change