แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ
แบบทดสอบการฝังตำแหน่งโรตารี
ประเมินวิธีที่ RoPE หมุนคิวรีและเวกเตอร์คีย์เพื่อเข้ารหัสตำแหน่ง และแยกแยะคุณสมบัติตำแหน่งสัมพัทธ์จากวิธีการปรับขนาดบริบทแบบยาว
คำถาม 1 ของ 8
RoPE ฉีดข้อมูลตำแหน่งลงในหม้อแปลงอย่างไร?
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- RoPE ฉีดข้อมูลตำแหน่งลงในหม้อแปลงอย่างไร?
- โดยการหมุนคู่ของมิติในแบบสอบถามและเวกเตอร์คีย์ตามมุมที่ขึ้นกับตำแหน่ง
- โดยการเพิ่มเวกเตอร์คงที่ในการฝังอินพุต
- โดยการเรียงลำดับโทเค็นใหม่แบบสุ่ม
- โดยต่อท้ายหมายเลขตำแหน่งเป็นข้อความ
- หลังจากที่ใช้ RoPE แล้ว คะแนนความสนใจระหว่างสองโทเค็นจะขึ้นอยู่กับ:
- ตำแหน่งที่แน่นอนของพวกเขาเท่านั้น
- ระยะทางสัมพัทธ์ (m ลบ n)
- ขนาดคำศัพท์
- ขนาดแบทช์
- What training-efficiency comparison did the YaRN paper report for context extension?
- Exactly the same data and steps as all prior methods
- No fine-tuning or training data of any kind
- About 10x fewer tokens and 2.5x fewer training steps than prior methods
- A fixed 100x increase in output tokens
- เหตุใดคู่มิติที่แตกต่างกันจึงหมุนด้วยความถี่ต่างกันใน RoPE
- เพื่อประหยัดหน่วยความจำด้วยการข้ามมิติบางส่วน
- เพื่อสุ่มผลลัพธ์ของโมเดล
- เพราะทุกคู่ต้องใช้มุมเดียวกัน
- เพื่อจับทั้งระเบียบท้องถิ่นที่ดีและตำแหน่งระยะยาว
- What is the goal of techniques such as Position Interpolation and YaRN for RoPE-based models?
- Extend the usable context length beyond the original training window using additional scaling/fine-tuning methods
- Guarantee accurate recall at any sequence length with no evaluation
- Remove position information from attention
- Replace all token embeddings with absolute learned vectors
- Does standard RoPE require learned absolute-position vectors to inject position into query and key representations?
- Yes; it adds one learned vector for every possible sequence position
- No; it applies position-dependent rotations to paired query/key dimensions
- It removes query and key vectors entirely
- It only adds position to value vectors
- What does standard RoPE alone guarantee about a model’s context length?
- Unlimited accurate context at every position
- A fixed context of exactly 128 tokens
- It does not by itself guarantee reliable use beyond the trained context length
- Removal of the attention mechanism
- What extended context length did the Position Interpolation paper report for its LLaMA evaluations?
- Exactly 1,000 tokens with no position changes
- Unlimited context with no fine-tuning
- Up to 2 million tokens for all models
- Up to 32,768 tokens with minimal fine-tuning