แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ

แบบทดสอบกลไกความสนใจ

ทดสอบความสนใจของคีย์คิวรี-ค่า การปรับขนาด softmax หัวแบบขนาน ต้นทุนความสนใจแบบหนาแน่น การคำนวณค่าถ่วงน้ำหนัก และการมาสก์เชิงสาเหตุสำหรับการสร้าง

เส้นทางแนะนำที่เกี่ยวข้องกลไกความสนใจ
คำถาม 1 ของ 8

What does token attention combine when forming an output representation?

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. What does token attention combine when forming an output representation?
    • Permanent copies of the entire conversation on disk
    • Value information from allowed positions using computed weights
    • Only manually chosen keywords with no learned scores
    • A translation dictionary that removes every other token
  2. เอกสารสำคัญปี 2017 ใดที่แนะนำสถาปัตยกรรมหม้อแปลงไฟฟ้า
    • 'การเรียนรู้ที่เหลืออย่างลึกซึ้งเพื่อการจดจำภาพ'
    • 'การเล่น Atari ด้วยการเรียนรู้แบบเสริมกำลังเชิงลึก'
    • 'ความสนใจคือสิ่งที่คุณต้องการ'
    • 'เครือข่ายปฏิปักษ์ทั่วไป'
  3. เวกเตอร์สามตัวที่คำนวณสำหรับแต่ละโทเค็นที่สนใจคืออะไร
    • แบบสอบถาม คีย์ และค่า
    • อินพุต เอาท์พุต และอคติ
    • ค่าเฉลี่ย ค่ามัธยฐาน และโหมด
    • ตัวเข้ารหัส ตัวถอดรหัส และการสูญเสีย
  4. ในสูตร softmax(QK^T / √d_k) V ทำไมจึงต้องหารด้วย √d_k
    • เพื่อแปลงผลลัพธ์เป็นจำนวนเต็ม
    • เพื่อลบจำนวนลบ
    • เพื่อให้โมเดลทำงานบน GPU
    • เพื่อไม่ให้คะแนน dot-product มากจนเกินไปก่อน softmax
  5. Why does dense self-attention involve growing pairwise work for very long token sequences?
    • เพราะจะต้องดาวน์โหลดข้อมูลใหม่จากอินเทอร์เน็ต
    • เพราะข้อความที่ยาวกว่าจะมีคำที่หายากกว่าเสมอ
    • เนื่องจากต้นทุนเพิ่มขึ้นตามกำลังสองของความยาวลำดับ (O(n²))
    • เพราะมันสลับไปเป็นภาษาโปรแกรมที่ช้าลง
  6. What capacity does multi-head attention provide through separate learned projections?
    • A guarantee that every head has one unique named meaning
    • Several attention representations that can capture different relationships in parallel
    • Removal of every token embedding
    • A reduction of vocabulary size by definition
  7. In a scalar attention example, values two and six receive weights three-quarters and one-quarter. What is their weighted output?
    • แปด
    • สี่
    • สอง
    • สาม
  8. What does a causal attention mask prevent in an autoregressive text decoder?
    • Using later token positions when forming the current position's representation
    • Using any previous token
    • Computing any query or key vectors
    • Learning all model parameters