गाइड से जुड़ी प्रश्नोत्तरी · मध्यम स्तर

लॉगिट लेंस और इंटरमीडिएट लेयर डिकोडिंग क्विज़

मध्यवर्ती अवशिष्ट रीडआउट, सामान्यीकरण और अनएम्बेडिंग, ट्यून किए गए एफ़िन जांच, शब्दावली लॉगिट्स, सॉफ्टमैक्स और कारण व्याख्या की सीमाओं का परीक्षण करें।

प्रश्न 1 का 8

What readout does a plain logit lens reuse to obtain vocabulary scores from an intermediate state?

प्रत्येक प्रश्न का पूर्वावलोकन करें8 प्रश्न

जैसे ही आप प्रश्नोत्तरी लेते हैं उत्तर और स्पष्टीकरण दिखाई देते हैं।

  1. What readout does a plain logit lens reuse to obtain vocabulary scores from an intermediate state?
    • A required new image classifier for every layer
    • The model's appropriate final normalization and unembedding output projection
    • A random dictionary sort with no model parameters
    • A separate retrained tokenizer for each prompt
  2. Why can the same output projection be applied mathematically at multiple residual-stream depths?
    • Every layer must contain an identical copy of the final state
    • The entire transformer is a single linear mapping
    • All intermediate token scores are guaranteed identical
    • The states have compatible hidden dimensions, although their representations may not be equally calibrated for that readout
  3. सादे लॉगिट लेंस के सापेक्ष 'ट्यून्ड लेंस' किस समस्या को ठीक करता है?
    • यह सीखे गए एफ़िन ट्रांसफ़ॉर्म के साथ प्रति-परत बेमेल को ठीक करता है
    • यह किसी भी अनएम्बेडिंग की आवश्यकता को हटा देता है
    • यह अनुमान लगाने में मॉडल को तेज़ बनाता है
    • यह सॉफ्टमैक्स को आर्गमैक्स से प्रतिस्थापित करता है
  4. If an intermediate lens readout favors a correct factual token, what has been directly observed?
    • The unique causal location of the model's factual knowledge
    • A guarantee that all later output will be correct
    • That the particular probe maps that state to a high score for the token
    • The exact reasoning process of a conscious system
  5. लॉगिट लेंस किसके लिए सबसे अधिक उपयोगी है?
    • मॉडल भार को संपीड़ित करना
    • भाषाओं के बीच अनुवाद करना
    • मॉडल सक्रियण एन्क्रिप्ट करना
    • यह देखना कि गहराई में भविष्यवाणी कैसे और कहाँ बनती है
  6. Why can a plain final-head readout be misleading on early transformer states?
    • Early states always use a different vocabulary file
    • Their representation distributions can differ from the final state for which the head was trained
    • Every early-layer vector is necessarily unstructured noise
    • No matrix operation can be applied before the final layer
  7. A lens uses a model with a fifty-thousand-entry vocabulary and a 768-dimensional hidden state. How many vocabulary logits does its unembedding produce?
    • 768, one score per hidden coordinate only
    • One, because the token must be chosen before projection
    • Fifty thousand, one score per vocabulary entry
    • Exactly the number of transformer layers
  8. What does softmax add to a logit-lens vocabulary-score display?
    • A normalized distribution over the projected vocabulary scores
    • Proof that every displayed probability is a calibrated belief
    • A causal intervention on the model's hidden states
    • A replacement for the output projection's vocabulary dimension