แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ

แบบทดสอบ Logit Lens และ Tuned Lens

ตรวจสอบการอ่านค่าในเลเยอร์กลาง โครงสร้างกระแสตกค้าง ตัวแปลเลนส์ที่ได้รับการปรับแต่ง และข้อจำกัดของ Raw Logit Lens

เส้นทางแนะนำที่เกี่ยวข้องเลนส์ Logit และเลนส์ปรับ
คำถาม 1 ของ 8

เลนส์ Logit ทำหน้าที่อะไร?

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. เลนส์ Logit ทำหน้าที่อะไร?
    • ใช้การยกเลิกการฝังขั้นสุดท้ายของโมเดลกับสถานะซ่อนเร้นระดับกลางเพื่ออ่านการคาดการณ์ต่อเลเยอร์
    • เพิ่มเลเยอร์ใหม่ให้กับหม้อแปลงไฟฟ้า
    • ขจัดความสนใจจากโมเดล
    • แปลระหว่างภาษาของมนุษย์
  2. เลนส์ที่ปรับแต่งแล้วมีการปรับปรุงที่สำคัญอะไรบ้างนอกเหนือจากเลนส์ Raw Logit
    • มันใช้คำศัพท์ที่ใหญ่กว่า
    • โดยจะฝึกฝนแผนที่ความสัมพันธ์ขนาดเล็กต่อเลเยอร์เพื่อแปลสถานะที่ซ่อนอยู่ให้เป็นพื้นฐานขั้นสุดท้าย
    • โดยไม่จำเป็นต้องถอดการฝังออก
    • ใช้ได้กับโมเดลรูปภาพเท่านั้น
  3. โครงสร้างใดในหม้อแปลงไฟฟ้าที่ทำให้เลนส์เหล่านี้เป็นไปได้
    • ตัวกรองแบบหมุนวน
    • โทเค็นไนเซอร์
    • กระแสสารตกค้างเพิ่มเติมที่โครงการภายหลังที่ยกเลิกการฝังเพื่อบันทึก
    • อัตราการเรียนรู้ของเครื่องมือเพิ่มประสิทธิภาพ
  4. ใครเป็นผู้แนะนำเลนส์ Logit ดั้งเดิม และเมื่อใดโดยประมาณ
    • ดีพมายด์ในปี 2558
    • OpenAI ในปี 2018
    • Google ในปี 2012
    • ผู้คิดถึงความคิดถึงในปี 2020
  5. เลนส์ logit มักแสดงคำตอบสุดท้ายว่า 'ตกผลึก' ที่ไหน
    • ในชั้นกลางถึงปลาย
    • เฉพาะในชั้นแรกเท่านั้น
    • ไม่เคย คำตอบปรากฏขึ้นพร้อมกัน
    • ภายนอกโมเดลโดยสิ้นเชิง
  6. เหตุใดเลนส์ Logit แบบดิบจึงไม่น่าเชื่อถือในเลเยอร์แรกๆ
    • เลเยอร์แรกไม่มีเซลล์ประสาท
    • สถานะที่ซ่อนอยู่ยังไม่สอดคล้องกับพื้นฐานเอาต์พุตสุดท้ายที่คาดว่าจะไม่มีการฝัง
    • ชั้นแรกๆ จะไม่ถูกนำมาใช้ในการทำนาย
    • เมทริกซ์ที่ไม่มีการฝังจะเป็นแบบสุ่ม
  7. What does the model’s final unembedding map a residual-stream vector into?
    • A new set of transformer layers
    • A similarity graph over training examples
    • Vocabulary logits that can be converted into token probabilities
    • A gradient clipping threshold
  8. Why can an early-layer raw logit-lens prediction be misleading?
    • The layer has already generated the full answer
    • The tokenizer has been removed
    • The unembedding only works on images
    • The intermediate state may not yet be aligned with the final output basis