গাইড লিঙ্ক ক্যুইজ · মাঝারি স্তর
লগিট লেন্স এবং ইন্টারমিডিয়েট লেয়ার ডিকোডিং কুইজ
পরীক্ষা মধ্যবর্তী অবশিষ্ট রিডআউট, স্বাভাবিককরণ এবং আনবেডিং, টিউন করা অ্যাফাইন প্রোব, শব্দভান্ডার লগিট, সফটম্যাক্স, এবং কার্যকারণ ব্যাখ্যার সীমা।
প্রশ্ন 1 এর 8
What readout does a plain logit lens reuse to obtain vocabulary scores from an intermediate state?
প্রতিটি প্রশ্নের পূর্বরূপ দেখুন8 প্রশ্ন
আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।
- What readout does a plain logit lens reuse to obtain vocabulary scores from an intermediate state?
- A required new image classifier for every layer
- The model's appropriate final normalization and unembedding output projection
- A random dictionary sort with no model parameters
- A separate retrained tokenizer for each prompt
- Why can the same output projection be applied mathematically at multiple residual-stream depths?
- Every layer must contain an identical copy of the final state
- The entire transformer is a single linear mapping
- All intermediate token scores are guaranteed identical
- The states have compatible hidden dimensions, although their representations may not be equally calibrated for that readout
- প্লেইন লগিট লেন্সের তুলনায় 'টিউনড লেন্স' কি সমস্যা ঠিক করে?
- এটি একটি শেখা অ্যাফাইন ট্রান্সফর্মের সাথে প্রতি-স্তরের অমিল সংশোধন করে
- এটা কোনো unembedding জন্য প্রয়োজন অপসারণ
- এটি অনুমানে মডেলটিকে দ্রুততর করে তোলে
- এটি সফটম্যাক্সকে আর্গম্যাক্স দিয়ে প্রতিস্থাপন করে
- If an intermediate lens readout favors a correct factual token, what has been directly observed?
- The unique causal location of the model's factual knowledge
- A guarantee that all later output will be correct
- That the particular probe maps that state to a high score for the token
- The exact reasoning process of a conscious system
- একটি লগিট লেন্স কি জন্য সবচেয়ে সরাসরি দরকারী?
- কম্প্রেসিং মডেল ওজন
- ভাষার মধ্যে অনুবাদ
- মডেল অ্যাক্টিভেশন এনক্রিপ্ট করা হচ্ছে
- গভীরতা জুড়ে একটি ভবিষ্যদ্বাণী কীভাবে এবং কোথায় তৈরি হয় তা দেখছেন
- Why can a plain final-head readout be misleading on early transformer states?
- Early states always use a different vocabulary file
- Their representation distributions can differ from the final state for which the head was trained
- Every early-layer vector is necessarily unstructured noise
- No matrix operation can be applied before the final layer
- A lens uses a model with a fifty-thousand-entry vocabulary and a 768-dimensional hidden state. How many vocabulary logits does its unembedding produce?
- 768, one score per hidden coordinate only
- One, because the token must be chosen before projection
- Fifty thousand, one score per vocabulary entry
- Exactly the number of transformer layers
- What does softmax add to a logit-lens vocabulary-score display?
- A normalized distribution over the projected vocabulary scores
- Proof that every displayed probability is a calibrated belief
- A causal intervention on the model's hidden states
- A replacement for the output projection's vocabulary dimension