แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ
แบบทดสอบ Logit Lens และ Tuned Lens
ตรวจสอบการอ่านค่าในเลเยอร์กลาง โครงสร้างกระแสตกค้าง ตัวแปลเลนส์ที่ได้รับการปรับแต่ง และข้อจำกัดของ Raw Logit Lens
คำถาม 1 ของ 8
เลนส์ Logit ทำหน้าที่อะไร?
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- เลนส์ Logit ทำหน้าที่อะไร?
- ใช้การยกเลิกการฝังขั้นสุดท้ายของโมเดลกับสถานะซ่อนเร้นระดับกลางเพื่ออ่านการคาดการณ์ต่อเลเยอร์
- เพิ่มเลเยอร์ใหม่ให้กับหม้อแปลงไฟฟ้า
- ขจัดความสนใจจากโมเดล
- แปลระหว่างภาษาของมนุษย์
- เลนส์ที่ปรับแต่งแล้วมีการปรับปรุงที่สำคัญอะไรบ้างนอกเหนือจากเลนส์ Raw Logit
- มันใช้คำศัพท์ที่ใหญ่กว่า
- โดยจะฝึกฝนแผนที่ความสัมพันธ์ขนาดเล็กต่อเลเยอร์เพื่อแปลสถานะที่ซ่อนอยู่ให้เป็นพื้นฐานขั้นสุดท้าย
- โดยไม่จำเป็นต้องถอดการฝังออก
- ใช้ได้กับโมเดลรูปภาพเท่านั้น
- โครงสร้างใดในหม้อแปลงไฟฟ้าที่ทำให้เลนส์เหล่านี้เป็นไปได้
- ตัวกรองแบบหมุนวน
- โทเค็นไนเซอร์
- กระแสสารตกค้างเพิ่มเติมที่โครงการภายหลังที่ยกเลิกการฝังเพื่อบันทึก
- อัตราการเรียนรู้ของเครื่องมือเพิ่มประสิทธิภาพ
- ใครเป็นผู้แนะนำเลนส์ Logit ดั้งเดิม และเมื่อใดโดยประมาณ
- ดีพมายด์ในปี 2558
- OpenAI ในปี 2018
- Google ในปี 2012
- ผู้คิดถึงความคิดถึงในปี 2020
- เลนส์ logit มักแสดงคำตอบสุดท้ายว่า 'ตกผลึก' ที่ไหน
- ในชั้นกลางถึงปลาย
- เฉพาะในชั้นแรกเท่านั้น
- ไม่เคย คำตอบปรากฏขึ้นพร้อมกัน
- ภายนอกโมเดลโดยสิ้นเชิง
- เหตุใดเลนส์ Logit แบบดิบจึงไม่น่าเชื่อถือในเลเยอร์แรกๆ
- เลเยอร์แรกไม่มีเซลล์ประสาท
- สถานะที่ซ่อนอยู่ยังไม่สอดคล้องกับพื้นฐานเอาต์พุตสุดท้ายที่คาดว่าจะไม่มีการฝัง
- ชั้นแรกๆ จะไม่ถูกนำมาใช้ในการทำนาย
- เมทริกซ์ที่ไม่มีการฝังจะเป็นแบบสุ่ม
- What does the model’s final unembedding map a residual-stream vector into?
- A new set of transformer layers
- A similarity graph over training examples
- Vocabulary logits that can be converted into token probabilities
- A gradient clipping threshold
- Why can an early-layer raw logit-lens prediction be misleading?
- The layer has already generated the full answer
- The tokenizer has been removed
- The unembedding only works on images
- The intermediate state may not yet be aligned with the final output basis