แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ
แบบทดสอบรูปแบบความสนใจเบาบาง
เปรียบเทียบการเชื่อมต่อความสนใจแบบกระจัดกระจายแบบโลคัล แบบขยาย แบบสุ่ม และแบบโกลบอล และวิธีที่เคอร์เนลที่ได้รับการปรับปรุงให้เหมาะสมจะข้ามรายการที่ไม่ได้ใช้ในการประมวลผลอินพุตแบบยาว
คำถาม 1 ของ 8
เหตุใดการเอาใจใส่ตนเองอย่างเต็มที่จึงมีราคาแพงในลำดับที่ยาว?
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- เหตุใดการเอาใจใส่ตนเองอย่างเต็มที่จึงมีราคาแพงในลำดับที่ยาว?
- ราคาของมันเพิ่มขึ้นตามกำลังสองของความยาวลำดับ
- มันไม่สามารถใช้ GPU ได้
- มันใช้ได้กับคำสั้น ๆ เท่านั้น
- มันไม่จำเป็นต้องมีหน่วยความจำเลย
- ความสนใจของหน้าต่างบานเลื่อน (ท้องถิ่น) คืออะไร?
- แต่ละโทเค็นเข้าร่วมฐานข้อมูลแบบสุ่ม
- แต่ละโทเค็นจะดูแลเฉพาะเพื่อนบ้านใกล้เคียงเท่านั้น
- โทเค็นไม่เคยสนใจสิ่งใดเลย
- แต่ละโทเค็นเข้าร่วมโทเค็นทั้งหมดสองครั้ง
- จุดประสงค์ของ 'โทเค็นระดับโลก' ในความสนใจกระจัดกระจายคืออะไร?
- เพื่อทำให้โมเดลช้าลง
- เพื่อจัดเก็บภาพ
- เพื่อทำหน้าที่เป็นศูนย์กลางที่ดูแลทุกสิ่งและทุกสิ่งสนใจ
- เพื่อทดแทนคำศัพท์
- โมเดลใดพิสูจน์ให้เห็นว่าการรวมความสนใจแบบสุ่ม หน้าต่าง และระดับโลกเข้าด้วยกันช่วยให้แสดงความสนใจอย่างเต็มที่ได้
- เรสเน็ต
- Word2Vec
- อเล็กซ์เน็ต
- บิ๊กเบิร์ด
- จำนวนการเชื่อมต่อมีขนาดประมาณเท่าใดในความสนใจแบบกระจัดกระจายที่ออกแบบมาอย่างดี
- เชิงเส้นตรงโดยมีความยาวลำดับ
- เป็นรูปสี่เหลี่ยมที่มีความยาวลำดับ
- มันไม่ได้ขึ้นอยู่กับความยาว
- เอ็กซ์โปเนนเชียลด้วยความยาวลำดับ
- What do strided or dilated sparse-attention patterns allow?
- คำนวณแล้วตั้งค่าให้เป็นศูนย์
- Skip ahead to reach distant context with fewer attention links
- ส่งไปยังเซิร์ฟเวอร์อื่น
- จัดเก็บไว้อย่างถาวร
- How does Longformer combine local and global attention?
- Every token attends to every other token
- Only random edges are allowed
- Most tokens use a sliding local window, while selected global tokens connect across the sequence
- Each token attends only to the final token
- What is the goal of learned, content-based sparse attention?
- A full dense connection to every token
- A rule for removing all future tokens
- A learned vocabulary for each attention head
- Avoid spending attention compute and memory on content unrelated to the current query