แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ

แบบทดสอบรูปแบบความสนใจเบาบาง

เปรียบเทียบการเชื่อมต่อความสนใจแบบกระจัดกระจายแบบโลคัล แบบขยาย แบบสุ่ม และแบบโกลบอล และวิธีที่เคอร์เนลที่ได้รับการปรับปรุงให้เหมาะสมจะข้ามรายการที่ไม่ได้ใช้ในการประมวลผลอินพุตแบบยาว

เส้นทางแนะนำที่เกี่ยวข้องรูปแบบความสนใจเบาบาง
คำถาม 1 ของ 8

เหตุใดการเอาใจใส่ตนเองอย่างเต็มที่จึงมีราคาแพงในลำดับที่ยาว?

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. เหตุใดการเอาใจใส่ตนเองอย่างเต็มที่จึงมีราคาแพงในลำดับที่ยาว?
    • ราคาของมันเพิ่มขึ้นตามกำลังสองของความยาวลำดับ
    • มันไม่สามารถใช้ GPU ได้
    • มันใช้ได้กับคำสั้น ๆ เท่านั้น
    • มันไม่จำเป็นต้องมีหน่วยความจำเลย
  2. ความสนใจของหน้าต่างบานเลื่อน (ท้องถิ่น) คืออะไร?
    • แต่ละโทเค็นเข้าร่วมฐานข้อมูลแบบสุ่ม
    • แต่ละโทเค็นจะดูแลเฉพาะเพื่อนบ้านใกล้เคียงเท่านั้น
    • โทเค็นไม่เคยสนใจสิ่งใดเลย
    • แต่ละโทเค็นเข้าร่วมโทเค็นทั้งหมดสองครั้ง
  3. จุดประสงค์ของ 'โทเค็นระดับโลก' ในความสนใจกระจัดกระจายคืออะไร?
    • เพื่อทำให้โมเดลช้าลง
    • เพื่อจัดเก็บภาพ
    • เพื่อทำหน้าที่เป็นศูนย์กลางที่ดูแลทุกสิ่งและทุกสิ่งสนใจ
    • เพื่อทดแทนคำศัพท์
  4. โมเดลใดพิสูจน์ให้เห็นว่าการรวมความสนใจแบบสุ่ม หน้าต่าง และระดับโลกเข้าด้วยกันช่วยให้แสดงความสนใจอย่างเต็มที่ได้
    • เรสเน็ต
    • Word2Vec
    • อเล็กซ์เน็ต
    • บิ๊กเบิร์ด
  5. จำนวนการเชื่อมต่อมีขนาดประมาณเท่าใดในความสนใจแบบกระจัดกระจายที่ออกแบบมาอย่างดี
    • เชิงเส้นตรงโดยมีความยาวลำดับ
    • เป็นรูปสี่เหลี่ยมที่มีความยาวลำดับ
    • มันไม่ได้ขึ้นอยู่กับความยาว
    • เอ็กซ์โปเนนเชียลด้วยความยาวลำดับ
  6. What do strided or dilated sparse-attention patterns allow?
    • คำนวณแล้วตั้งค่าให้เป็นศูนย์
    • Skip ahead to reach distant context with fewer attention links
    • ส่งไปยังเซิร์ฟเวอร์อื่น
    • จัดเก็บไว้อย่างถาวร
  7. How does Longformer combine local and global attention?
    • Every token attends to every other token
    • Only random edges are allowed
    • Most tokens use a sliding local window, while selected global tokens connect across the sequence
    • Each token attends only to the final token
  8. What is the goal of learned, content-based sparse attention?
    • A full dense connection to every token
    • A rule for removing all future tokens
    • A learned vocabulary for each attention head
    • Avoid spending attention compute and memory on content unrelated to the current query