แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ
แบบทดสอบความสนใจเชิงเส้นและเคอร์เนลของนักแสดง
ตรวจสอบต้นทุนลำดับของความสนใจแบบ softmax, การเรียงลำดับใหม่แบบแอสโซสिएटีฟ, การประมาณเคอร์เนล FAVOR+, ฟีเจอร์แบบสุ่ม และความซับซ้อนเชิงเส้น
คำถาม 1 ของ 8
เหตุใดระดับความสนใจของ softmax มาตรฐานจึงไม่ดีตามความยาวของลำดับ
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- เหตุใดระดับความสนใจของ softmax มาตรฐานจึงไม่ดีตามความยาวของลำดับ
- เวลาและความทรงจำของมันเพิ่มขึ้นตามกำลังสองของความยาวลำดับ
- มันต้องเรียงลำดับโทเค็นทั้งหมดตามตัวอักษร
- สามารถประมวลผลได้ครั้งละหนึ่งโทเค็นเท่านั้น
- จำเป็นต้องมีโครงข่ายประสาทเทียมแยกต่างหากต่อโทเค็น
- คุณสมบัติทางคณิตศาสตร์ข้อใดที่ทำให้ความสนใจเชิงเส้นหลีกเลี่ยงเมทริกซ์ขนาด n-by-n ได้
- การสับเปลี่ยนของการบวก
- การเชื่อมโยงของการคูณเมทริกซ์
- กฎการกระจายของซอฟต์แม็กซ์
- การสลายตัวของค่าลักษณะเฉพาะ
- กลไก FAVOR+ ของนักแสดงประมาณค่าอะไร
- การอัปเดตโคตรไล่ระดับ
- คำศัพท์โทเค็น
- เคอร์เนลความสนใจของ softmax
- สถิติการทำให้เลเยอร์เป็นมาตรฐาน
- เหตุใดนักแสดงจึงใช้คุณสมบัติสุ่มเชิงบวกมากกว่าคุณสมบัติตรีโกณมิติก่อนหน้า
- พวกมันทำงานเร็วขึ้นบน CPU เท่านั้น
- พวกเขาไม่จำเป็นต้องมีการสุ่มใดๆ
- พวกเขาทำให้แบบจำลองสามารถตีความได้อย่างสมบูรณ์
- รับประกันน้ำหนักความสนใจที่ไม่เป็นลบและปรับปรุงความเสถียรของตัวเลข
- ความซับซ้อนโดยประมาณของความสนใจเชิงเส้นแบบนักแสดงในความยาวลำดับ n คืออะไร?
- โอ(เอ็น)
- โอ(n^2)
- O(n บันทึก n)
- โอ(2^น)
- อะไรคือข้อจำกัดทั่วไปของความสนใจเชิงเส้นล้วนๆ เมื่อเปรียบเทียบกับความสนใจแบบ softmax แบบเต็ม?
- ไม่สามารถทำงานบน GPU ได้
- มักจะได้คุณภาพการสร้างแบบจำลองที่ต่ำกว่าเล็กน้อย
- มันใช้งานได้กับรูปภาพเท่านั้น
- ต้องมีข้อมูลที่มีป้ายกำกับสำหรับทุกโทเค็น
- For attention written as phi(Q)(phi(K)^T V), which multiplication can be done first to avoid creating an n-by-n matrix?
- Compute QK^T and store every pairwise score
- Apply softmax to the full n-by-n matrix first
- Compute phi(K)^T V before multiplying by phi(Q)
- Multiply the final output by the sequence length
- What benefit does using orthogonal random features provide in Performer’s FAVOR+ approximation?
- It guarantees exact softmax for every sequence
- It removes the need for query and key vectors
- It makes attention quadratic in sequence length
- It reduces variance in the random-feature estimate