แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ
ตัวเข้ารหัสอัตโนมัติแบบกระจัดกระจายสำหรับแบบทดสอบการแยกคุณสมบัติ
ศึกษาพจนานุกรมคุณลักษณะกระจัดกระจายและการสร้างใหม่ด้วยการทดลองสะพานโกลเดนเกต ขอบเขตแฝง การบังคับเลี้ยว และโมเดลที่เสร็จสมบูรณ์มากเกินไป
คำถาม 1 ของ 8
Which interpretability difficulty motivates sparse dictionary learning for neural activations?
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- Which interpretability difficulty motivates sparse dictionary learning for neural activations?
- Every model activation is already a complete dictionary definition
- Several learned signals can overlap in an activation space
- The tokenizer must be permanently removed
- All neural weights are stored as image pixels
- What does an SAE sparsity constraint encourage for a given input?
- Every feature to activate equally on every input
- A mandatory removal of its decoder
- A guarantee that every feature has exactly one perfect human label
- Only a limited subset of learned feature activations to be nonzero
- ในงาน 'Scaling Monosemanticity' ของ Anthropic คุณลักษณะตัวอย่างที่มีชื่อเสียงคืออะไร
- คุณสมบัติของสะพานโกลเดนเกต
- คุณลักษณะสำหรับหมายเลขเจ็ด
- มีลักษณะพิเศษเฉพาะสีฟ้าเท่านั้น
- คุณลักษณะสำหรับสระ
- What does an overcomplete SAE dictionary mean?
- It must activate every feature for every token
- It contains no reconstruction mapping
- It has more learned feature directions than input activation dimensions
- It always requires less storage than the input vector
- What does a monosemantic feature label aim to describe in this research context?
- A guarantee that the feature never responds to related examples
- A feature associated with one interpretable concept
- A language model that has only one parameter
- A token represented by exactly one raw byte
- SAE จะถูกนำมาใช้เพื่อมีอิทธิพลต่อพฤติกรรมของแบบจำลองได้อย่างไร
- โดยการหนีบเปิดหรือปิดคุณลักษณะเพื่อคัดท้ายเอาท์พุต
- โดยการฝึกโมเดลทั้งหมดใหม่ตั้งแต่ต้น
- โดยการลบโทเค็นไนเซอร์
- โดยแปลงเป็นโมเดลรูปภาพ
- What does an SAE’s reconstruction residual measure for an activation vector?
- The difference between two unrelated document titles
- The total number of words in the model vocabulary
- Only the model’s hardware temperature
- The difference between the original activation and its decoded reconstruction
- When an SAE is fitted to collected activations of a frozen language model, which weights need to be trained for that fitting?
- Every original language-model weight must be updated
- Only the tokenizer’s character list
- The SAE’s own encoder and decoder weights
- No parameters of the SAE can change