แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ
แบบทดสอบความสนใจและการตัดหัว
ทดสอบว่าการเปิดตัวผสมผสานความสนใจแบบเลเยอร์เข้ากับเส้นทางที่เหลือได้อย่างไร ค่าประมาณของการตัดส่วนหัว และสิ่งที่คะแนนเหล่านั้นอธิบายได้และไม่สามารถอธิบายได้
คำถาม 1 ของ 8
เป้าหมายของการเปิดตัวความสนใจคืออะไร?
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- เป้าหมายของการเปิดตัวความสนใจคืออะไร?
- เพื่อติดตามการไหลของข้อมูลสะสมจากโทเค็นอินพุตไปยังเอาต์พุตข้ามเลเยอร์
- เพื่อเพิ่มเลเยอร์ให้กับ Transformer
- เพื่อเพิ่มอัตราการเรียนรู้
- เพื่อเปลี่ยนความสนใจเป็นการบิด
- เหตุใดแผนที่ความสนใจของเลเยอร์เดียวจึงมักไม่เพียงพอที่จะอธิบาย
- ความสนใจจะไม่ถูกคำนวณ
- ข้อมูลปะปนกันในหลายเลเยอร์และส่วนหัว ดังนั้นแผนที่หนึ่งจึงพลาดเส้นทางแบบเต็ม
- แผนที่มีความสม่ำเสมออยู่เสมอ
- หม้อแปลงไฟฟ้ามีหัวเดียวเท่านั้น
- การเปิดตัวความสนใจเพิ่มอะไรให้กับแต่ละเมทริกซ์ความสนใจเพื่อพิจารณาการเชื่อมต่อที่เหลือ
- อคติเป็นศูนย์
- คำศัพท์เสียงสุ่ม
- คอมโพเนนต์เมทริกซ์เอกลักษณ์ก่อนการทำให้เป็นมาตรฐาน
- ซอฟท์แม็กซ์พิเศษ
- การวิจัยเกี่ยวกับความสนใจแบบหลายหัวเปิดเผยอะไรเกี่ยวกับความซ้ำซ้อนของศีรษะ
- ทุกหัวมีความสำคัญ
- ไม่สามารถถอดหัวออกได้
- การตัดแต่งกิ่งจะเพิ่มความแม่นยำเป็นสองเท่าเสมอ
- สามารถตัดหัวได้หลายหัวโดยสูญเสียความแม่นยำเพียงเล็กน้อย
- โดยทั่วไปการประเมินความสำคัญของศีรษะในการตัดแต่งกิ่งเป็นอย่างไร
- ผ่านการไล่ระดับตามความไวของการสูญเสียการมาส์กศีรษะ
- ตามตำแหน่งตัวอักษรของมัน
- โดยนับเฉพาะค่าพารามิเตอร์เท่านั้น
- เมื่อถึงเวลาของวัน
- What different jobs do attention rollout and head pruning each do?
- เป็นเทคนิคที่เหมือนกัน
- การเปิดตัวช่วยตีความในขณะที่ตัดการหาประโยชน์จากความซ้ำซ้อนในการบีบอัดโมเดล
- ทั้งสองเพิ่มเฉพาะพารามิเตอร์เท่านั้น
- ไม่ได้สนใจเลย
- In an attention-rollout calculation, why are residual paths included with layer attention?
- To make every head have the same weight
- To remove the value vectors from the Transformer
- To approximate information that can pass along the identity path when layer transitions are composed
- To prevent the attention matrix from being normalized
- How should an attention-rollout score be interpreted?
- As proof that a token caused the output
- As the exact value vector used at every layer
- As a measure of how many heads the model contains
- As a post-hoc approximation of relative token influence, not a causal explanation