แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ

แบบทดสอบความสนใจเชิงเส้นและเคอร์เนลของนักแสดง

ตรวจสอบต้นทุนลำดับของความสนใจแบบ softmax, การเรียงลำดับใหม่แบบแอสโซสिएटีฟ, การประมาณเคอร์เนล FAVOR+, ฟีเจอร์แบบสุ่ม และความซับซ้อนเชิงเส้น

เส้นทางแนะนำที่เกี่ยวข้องความสนใจเชิงเส้นและเคอร์เนลของนักแสดง
คำถาม 1 ของ 8

เหตุใดระดับความสนใจของ softmax มาตรฐานจึงไม่ดีตามความยาวของลำดับ

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. เหตุใดระดับความสนใจของ softmax มาตรฐานจึงไม่ดีตามความยาวของลำดับ
    • เวลาและความทรงจำของมันเพิ่มขึ้นตามกำลังสองของความยาวลำดับ
    • มันต้องเรียงลำดับโทเค็นทั้งหมดตามตัวอักษร
    • สามารถประมวลผลได้ครั้งละหนึ่งโทเค็นเท่านั้น
    • จำเป็นต้องมีโครงข่ายประสาทเทียมแยกต่างหากต่อโทเค็น
  2. คุณสมบัติทางคณิตศาสตร์ข้อใดที่ทำให้ความสนใจเชิงเส้นหลีกเลี่ยงเมทริกซ์ขนาด n-by-n ได้
    • การสับเปลี่ยนของการบวก
    • การเชื่อมโยงของการคูณเมทริกซ์
    • กฎการกระจายของซอฟต์แม็กซ์
    • การสลายตัวของค่าลักษณะเฉพาะ
  3. กลไก FAVOR+ ของนักแสดงประมาณค่าอะไร
    • การอัปเดตโคตรไล่ระดับ
    • คำศัพท์โทเค็น
    • เคอร์เนลความสนใจของ softmax
    • สถิติการทำให้เลเยอร์เป็นมาตรฐาน
  4. เหตุใดนักแสดงจึงใช้คุณสมบัติสุ่มเชิงบวกมากกว่าคุณสมบัติตรีโกณมิติก่อนหน้า
    • พวกมันทำงานเร็วขึ้นบน CPU เท่านั้น
    • พวกเขาไม่จำเป็นต้องมีการสุ่มใดๆ
    • พวกเขาทำให้แบบจำลองสามารถตีความได้อย่างสมบูรณ์
    • รับประกันน้ำหนักความสนใจที่ไม่เป็นลบและปรับปรุงความเสถียรของตัวเลข
  5. ความซับซ้อนโดยประมาณของความสนใจเชิงเส้นแบบนักแสดงในความยาวลำดับ n คืออะไร?
    • โอ(เอ็น)
    • โอ(n^2)
    • O(n บันทึก n)
    • โอ(2^น)
  6. อะไรคือข้อจำกัดทั่วไปของความสนใจเชิงเส้นล้วนๆ เมื่อเปรียบเทียบกับความสนใจแบบ softmax แบบเต็ม?
    • ไม่สามารถทำงานบน GPU ได้
    • มักจะได้คุณภาพการสร้างแบบจำลองที่ต่ำกว่าเล็กน้อย
    • มันใช้งานได้กับรูปภาพเท่านั้น
    • ต้องมีข้อมูลที่มีป้ายกำกับสำหรับทุกโทเค็น
  7. For attention written as phi(Q)(phi(K)^T V), which multiplication can be done first to avoid creating an n-by-n matrix?
    • Compute QK^T and store every pairwise score
    • Apply softmax to the full n-by-n matrix first
    • Compute phi(K)^T V before multiplying by phi(Q)
    • Multiply the final output by the sequence length
  8. What benefit does using orthogonal random features provide in Performer’s FAVOR+ approximation?
    • It guarantees exact softmax for every sequence
    • It removes the need for query and key vectors
    • It makes attention quadratic in sequence length
    • It reduces variance in the random-feature estimate