แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ

แบบทดสอบความสนใจและการตัดหัว

ทดสอบว่าการเปิดตัวผสมผสานความสนใจแบบเลเยอร์เข้ากับเส้นทางที่เหลือได้อย่างไร ค่าประมาณของการตัดส่วนหัว และสิ่งที่คะแนนเหล่านั้นอธิบายได้และไม่สามารถอธิบายได้

เส้นทางแนะนำที่เกี่ยวข้องความสนใจในการเปิดตัวและการตัดแต่งกิ่ง
คำถาม 1 ของ 8

เป้าหมายของการเปิดตัวความสนใจคืออะไร?

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. เป้าหมายของการเปิดตัวความสนใจคืออะไร?
    • เพื่อติดตามการไหลของข้อมูลสะสมจากโทเค็นอินพุตไปยังเอาต์พุตข้ามเลเยอร์
    • เพื่อเพิ่มเลเยอร์ให้กับ Transformer
    • เพื่อเพิ่มอัตราการเรียนรู้
    • เพื่อเปลี่ยนความสนใจเป็นการบิด
  2. เหตุใดแผนที่ความสนใจของเลเยอร์เดียวจึงมักไม่เพียงพอที่จะอธิบาย
    • ความสนใจจะไม่ถูกคำนวณ
    • ข้อมูลปะปนกันในหลายเลเยอร์และส่วนหัว ดังนั้นแผนที่หนึ่งจึงพลาดเส้นทางแบบเต็ม
    • แผนที่มีความสม่ำเสมออยู่เสมอ
    • หม้อแปลงไฟฟ้ามีหัวเดียวเท่านั้น
  3. การเปิดตัวความสนใจเพิ่มอะไรให้กับแต่ละเมทริกซ์ความสนใจเพื่อพิจารณาการเชื่อมต่อที่เหลือ
    • อคติเป็นศูนย์
    • คำศัพท์เสียงสุ่ม
    • คอมโพเนนต์เมทริกซ์เอกลักษณ์ก่อนการทำให้เป็นมาตรฐาน
    • ซอฟท์แม็กซ์พิเศษ
  4. การวิจัยเกี่ยวกับความสนใจแบบหลายหัวเปิดเผยอะไรเกี่ยวกับความซ้ำซ้อนของศีรษะ
    • ทุกหัวมีความสำคัญ
    • ไม่สามารถถอดหัวออกได้
    • การตัดแต่งกิ่งจะเพิ่มความแม่นยำเป็นสองเท่าเสมอ
    • สามารถตัดหัวได้หลายหัวโดยสูญเสียความแม่นยำเพียงเล็กน้อย
  5. โดยทั่วไปการประเมินความสำคัญของศีรษะในการตัดแต่งกิ่งเป็นอย่างไร
    • ผ่านการไล่ระดับตามความไวของการสูญเสียการมาส์กศีรษะ
    • ตามตำแหน่งตัวอักษรของมัน
    • โดยนับเฉพาะค่าพารามิเตอร์เท่านั้น
    • เมื่อถึงเวลาของวัน
  6. What different jobs do attention rollout and head pruning each do?
    • เป็นเทคนิคที่เหมือนกัน
    • การเปิดตัวช่วยตีความในขณะที่ตัดการหาประโยชน์จากความซ้ำซ้อนในการบีบอัดโมเดล
    • ทั้งสองเพิ่มเฉพาะพารามิเตอร์เท่านั้น
    • ไม่ได้สนใจเลย
  7. In an attention-rollout calculation, why are residual paths included with layer attention?
    • To make every head have the same weight
    • To remove the value vectors from the Transformer
    • To approximate information that can pass along the identity path when layer transitions are composed
    • To prevent the attention matrix from being normalized
  8. How should an attention-rollout score be interpreted?
    • As proof that a token caused the output
    • As the exact value vector used at every layer
    • As a measure of how many heads the model contains
    • As a post-hoc approximation of relative token influence, not a causal explanation