แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ
แบบทดสอบความสนใจแบบกระจัดกระจายแบบบล็อกและแบบพื้นเมือง
ตรวจสอบความสนใจแบบบล็อกเบาบาง สาขาหน้าต่างการเลือกการบีบอัดของ NSA การจัดตำแหน่งฮาร์ดแวร์ และการปรับขนาดด้วยลำดับที่ยาว
คำถาม 1 ของ 8
เหตุใดการเอาใจใส่ตนเองแบบมาตรฐานจึงมีราคาแพงสำหรับลำดับที่ยาวนาน
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- เหตุใดการเอาใจใส่ตนเองแบบมาตรฐานจึงมีราคาแพงสำหรับลำดับที่ยาวนาน
- ราคาของมันเพิ่มขึ้นเป็นกำลังสองตามความยาวของลำดับ
- ใช้พารามิเตอร์น้อยเกินไป
- ไม่สามารถทำงานบน GPU ได้
- มันเข้าร่วมกับโทเค็นแรกเท่านั้น
- แนวคิดหลักของความสนใจแบบบล็อกกระจัดกระจายคืออะไร?
- การลบชั้นฟีดฟอร์เวิร์ดออก
- การคำนวณความสนใจระหว่างบล็อกโทเค็นที่เลือกเท่านั้น
- ใช้หัวความสนใจเพียงหัวเดียวเท่านั้น
- เพิ่มมิติการฝังเป็นสองเท่า
- อะไรทำให้ Native Sparse Attention (NSA) แตกต่างจากวิธีการกระจัดกระจายก่อนหน้านี้หลายวิธี
- มันดึงความสนใจออกไปโดยสิ้นเชิง
- ใช้งานได้เฉพาะในระหว่างการอนุมานเท่านั้น
- สามารถฝึกได้ตั้งแต่ต้นทางถึงปลายทางและปรับแนวฮาร์ดแวร์ได้
- มันไม่ต้องใช้ GPU
- NSA สามสาขาใดรวมกันเป็นคีย์และค่าของมัน
- ตัวเข้ารหัส ตัวถอดรหัส และการฝัง
- การออกกลางคัน การทำให้เป็นมาตรฐาน และการรวมกลุ่ม
- การหาปริมาณ การตัดแต่งกิ่ง และการกลั่น
- การบีบอัด การเลือก และหน้าต่างบานเลื่อน
- เหตุใด NSA จึงใช้การดำเนินการระดับบล็อกมากกว่าการกระจายระดับโทเค็นโดยพลการ
- เพื่อให้สอดคล้องกับการเข้าถึงหน่วยความจำ GPU และทรูพุตเทนเซอร์คอร์เพื่อการเร่งความเร็วที่แท้จริง
- เพื่อให้โมเดลมีขนาดใหญ่ขึ้น
- เพื่อหลีกเลี่ยงการให้ความสนใจเลย
- เพื่อลดจำนวนชั้น
- ในระหว่างการถอดรหัสแบบ autoregressive ความสนใจแบบกระจัดกระจายจะมีประโยชน์อย่างยิ่ง เนื่องจากขั้นตอนนั้นมักจะเป็น:
- การคำนวณที่ถูกผูกไว้กับเมทริกซ์คูณ
- หน่วยความจำถูกผูกไว้ ดังนั้นการลดโทเค็นที่เข้าร่วมจึงทำให้เร็วขึ้น
- เป็นอิสระจากความยาวของลำดับ
- ทำงานบน CPU เท่านั้น
- What information does NSA’s compression branch provide to the attention computation?
- A full dense score for every token pair
- Only the optimizer’s first moment
- Coarse-grained summaries of blocks of tokens
- A random subset of output labels
- Why can learned sparsity patterns be more useful than a fixed arbitrary mask?
- They remove the need to compute attention scores
- They guarantee zero memory use
- They force every token to attend globally
- They can select blocks relevant to the input while remaining aligned with efficient hardware operations