แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ

Logit Lens และแบบทดสอบการถอดรหัสเลเยอร์ระดับกลาง

ทดสอบการอ่านค่าตกค้างระดับกลาง การทำให้เป็นมาตรฐานและการไม่ฝัง การตรวจวัดความสัมพันธ์ที่ปรับแต่ง บันทึกคำศัพท์ ซอฟต์แม็กซ์ และขีดจำกัดของการตีความเชิงสาเหตุ

เส้นทางแนะนำที่เกี่ยวข้องเลนส์ Logit และการถอดรหัสเลเยอร์ระดับกลาง
คำถาม 1 ของ 8

What readout does a plain logit lens reuse to obtain vocabulary scores from an intermediate state?

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. What readout does a plain logit lens reuse to obtain vocabulary scores from an intermediate state?
    • A required new image classifier for every layer
    • The model's appropriate final normalization and unembedding output projection
    • A random dictionary sort with no model parameters
    • A separate retrained tokenizer for each prompt
  2. Why can the same output projection be applied mathematically at multiple residual-stream depths?
    • Every layer must contain an identical copy of the final state
    • The entire transformer is a single linear mapping
    • All intermediate token scores are guaranteed identical
    • The states have compatible hidden dimensions, although their representations may not be equally calibrated for that readout
  3. 'เลนส์ที่ปรับแล้ว' มีปัญหาอะไรบ้างเมื่อเทียบกับเลนส์ logit ธรรมดา
    • จะแก้ไขความไม่ตรงกันต่อเลเยอร์ด้วยการแปลงรูปแบบความสัมพันธ์ที่เรียนรู้
    • โดยไม่จำเป็นต้องถอดการฝังออก
    • มันทำให้โมเดลเร็วขึ้นในการอนุมาน
    • มันแทนที่ softmax ด้วย argmax
  4. If an intermediate lens readout favors a correct factual token, what has been directly observed?
    • The unique causal location of the model's factual knowledge
    • A guarantee that all later output will be correct
    • That the particular probe maps that state to a high score for the token
    • The exact reasoning process of a conscious system
  5. เลนส์ Logit มีประโยชน์โดยตรงที่สุดเพื่ออะไร?
    • การบีบอัดตุ้มน้ำหนักแบบจำลอง
    • การแปลระหว่างภาษา
    • การเข้ารหัสการเปิดใช้งานโมเดล
    • ดูว่าคำทำนายก่อตัวอย่างไรและที่ไหนในเชิงลึก
  6. Why can a plain final-head readout be misleading on early transformer states?
    • Early states always use a different vocabulary file
    • Their representation distributions can differ from the final state for which the head was trained
    • Every early-layer vector is necessarily unstructured noise
    • No matrix operation can be applied before the final layer
  7. A lens uses a model with a fifty-thousand-entry vocabulary and a 768-dimensional hidden state. How many vocabulary logits does its unembedding produce?
    • 768, one score per hidden coordinate only
    • One, because the token must be chosen before projection
    • Fifty thousand, one score per vocabulary entry
    • Exactly the number of transformer layers
  8. What does softmax add to a logit-lens vocabulary-score display?
    • A normalized distribution over the projected vocabulary scores
    • Proof that every displayed probability is a calibrated belief
    • A causal intervention on the model's hidden states
    • A replacement for the output projection's vocabulary dimension