แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ

แบบทดสอบความสนใจแบบกระจัดกระจายแบบบล็อกและแบบพื้นเมือง

ตรวจสอบความสนใจแบบบล็อกเบาบาง สาขาหน้าต่างการเลือกการบีบอัดของ NSA การจัดตำแหน่งฮาร์ดแวร์ และการปรับขนาดด้วยลำดับที่ยาว

เส้นทางแนะนำที่เกี่ยวข้องบล็อกความสนใจเบาบางและเบาบางพื้นเมือง
คำถาม 1 ของ 8

เหตุใดการเอาใจใส่ตนเองแบบมาตรฐานจึงมีราคาแพงสำหรับลำดับที่ยาวนาน

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. เหตุใดการเอาใจใส่ตนเองแบบมาตรฐานจึงมีราคาแพงสำหรับลำดับที่ยาวนาน
    • ราคาของมันเพิ่มขึ้นเป็นกำลังสองตามความยาวของลำดับ
    • ใช้พารามิเตอร์น้อยเกินไป
    • ไม่สามารถทำงานบน GPU ได้
    • มันเข้าร่วมกับโทเค็นแรกเท่านั้น
  2. แนวคิดหลักของความสนใจแบบบล็อกกระจัดกระจายคืออะไร?
    • การลบชั้นฟีดฟอร์เวิร์ดออก
    • การคำนวณความสนใจระหว่างบล็อกโทเค็นที่เลือกเท่านั้น
    • ใช้หัวความสนใจเพียงหัวเดียวเท่านั้น
    • เพิ่มมิติการฝังเป็นสองเท่า
  3. อะไรทำให้ Native Sparse Attention (NSA) แตกต่างจากวิธีการกระจัดกระจายก่อนหน้านี้หลายวิธี
    • มันดึงความสนใจออกไปโดยสิ้นเชิง
    • ใช้งานได้เฉพาะในระหว่างการอนุมานเท่านั้น
    • สามารถฝึกได้ตั้งแต่ต้นทางถึงปลายทางและปรับแนวฮาร์ดแวร์ได้
    • มันไม่ต้องใช้ GPU
  4. NSA สามสาขาใดรวมกันเป็นคีย์และค่าของมัน
    • ตัวเข้ารหัส ตัวถอดรหัส และการฝัง
    • การออกกลางคัน การทำให้เป็นมาตรฐาน และการรวมกลุ่ม
    • การหาปริมาณ การตัดแต่งกิ่ง และการกลั่น
    • การบีบอัด การเลือก และหน้าต่างบานเลื่อน
  5. เหตุใด NSA จึงใช้การดำเนินการระดับบล็อกมากกว่าการกระจายระดับโทเค็นโดยพลการ
    • เพื่อให้สอดคล้องกับการเข้าถึงหน่วยความจำ GPU และทรูพุตเทนเซอร์คอร์เพื่อการเร่งความเร็วที่แท้จริง
    • เพื่อให้โมเดลมีขนาดใหญ่ขึ้น
    • เพื่อหลีกเลี่ยงการให้ความสนใจเลย
    • เพื่อลดจำนวนชั้น
  6. ในระหว่างการถอดรหัสแบบ autoregressive ความสนใจแบบกระจัดกระจายจะมีประโยชน์อย่างยิ่ง เนื่องจากขั้นตอนนั้นมักจะเป็น:
    • การคำนวณที่ถูกผูกไว้กับเมทริกซ์คูณ
    • หน่วยความจำถูกผูกไว้ ดังนั้นการลดโทเค็นที่เข้าร่วมจึงทำให้เร็วขึ้น
    • เป็นอิสระจากความยาวของลำดับ
    • ทำงานบน CPU เท่านั้น
  7. What information does NSA’s compression branch provide to the attention computation?
    • A full dense score for every token pair
    • Only the optimizer’s first moment
    • Coarse-grained summaries of blocks of tokens
    • A random subset of output labels
  8. Why can learned sparsity patterns be more useful than a fixed arbitrary mask?
    • They remove the need to compute attention scores
    • They guarantee zero memory use
    • They force every token to attend globally
    • They can select blocks relevant to the input while remaining aligned with efficient hardware operations