แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ
แบบทดสอบกลไกความสนใจ
ทดสอบความสนใจของคีย์คิวรี-ค่า การปรับขนาด softmax หัวแบบขนาน ต้นทุนความสนใจแบบหนาแน่น การคำนวณค่าถ่วงน้ำหนัก และการมาสก์เชิงสาเหตุสำหรับการสร้าง
คำถาม 1 ของ 8
What does token attention combine when forming an output representation?
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- What does token attention combine when forming an output representation?
- Permanent copies of the entire conversation on disk
- Value information from allowed positions using computed weights
- Only manually chosen keywords with no learned scores
- A translation dictionary that removes every other token
- เอกสารสำคัญปี 2017 ใดที่แนะนำสถาปัตยกรรมหม้อแปลงไฟฟ้า
- 'การเรียนรู้ที่เหลืออย่างลึกซึ้งเพื่อการจดจำภาพ'
- 'การเล่น Atari ด้วยการเรียนรู้แบบเสริมกำลังเชิงลึก'
- 'ความสนใจคือสิ่งที่คุณต้องการ'
- 'เครือข่ายปฏิปักษ์ทั่วไป'
- เวกเตอร์สามตัวที่คำนวณสำหรับแต่ละโทเค็นที่สนใจคืออะไร
- แบบสอบถาม คีย์ และค่า
- อินพุต เอาท์พุต และอคติ
- ค่าเฉลี่ย ค่ามัธยฐาน และโหมด
- ตัวเข้ารหัส ตัวถอดรหัส และการสูญเสีย
- ในสูตร softmax(QK^T / √d_k) V ทำไมจึงต้องหารด้วย √d_k
- เพื่อแปลงผลลัพธ์เป็นจำนวนเต็ม
- เพื่อลบจำนวนลบ
- เพื่อให้โมเดลทำงานบน GPU
- เพื่อไม่ให้คะแนน dot-product มากจนเกินไปก่อน softmax
- Why does dense self-attention involve growing pairwise work for very long token sequences?
- เพราะจะต้องดาวน์โหลดข้อมูลใหม่จากอินเทอร์เน็ต
- เพราะข้อความที่ยาวกว่าจะมีคำที่หายากกว่าเสมอ
- เนื่องจากต้นทุนเพิ่มขึ้นตามกำลังสองของความยาวลำดับ (O(n²))
- เพราะมันสลับไปเป็นภาษาโปรแกรมที่ช้าลง
- What capacity does multi-head attention provide through separate learned projections?
- A guarantee that every head has one unique named meaning
- Several attention representations that can capture different relationships in parallel
- Removal of every token embedding
- A reduction of vocabulary size by definition
- In a scalar attention example, values two and six receive weights three-quarters and one-quarter. What is their weighted output?
- แปด
- สี่
- สอง
- สาม
- What does a causal attention mask prevent in an autoregressive text decoder?
- Using later token positions when forming the current position's representation
- Using any previous token
- Computing any query or key vectors
- Learning all model parameters