แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ

แบบทดสอบการฝังตำแหน่งโรตารี

ประเมินวิธีที่ RoPE หมุนคิวรีและเวกเตอร์คีย์เพื่อเข้ารหัสตำแหน่ง และแยกแยะคุณสมบัติตำแหน่งสัมพัทธ์จากวิธีการปรับขนาดบริบทแบบยาว

เส้นทางแนะนำที่เกี่ยวข้องการฝังตำแหน่งโรตารี
คำถาม 1 ของ 8

RoPE ฉีดข้อมูลตำแหน่งลงในหม้อแปลงอย่างไร?

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. RoPE ฉีดข้อมูลตำแหน่งลงในหม้อแปลงอย่างไร?
    • โดยการหมุนคู่ของมิติในแบบสอบถามและเวกเตอร์คีย์ตามมุมที่ขึ้นกับตำแหน่ง
    • โดยการเพิ่มเวกเตอร์คงที่ในการฝังอินพุต
    • โดยการเรียงลำดับโทเค็นใหม่แบบสุ่ม
    • โดยต่อท้ายหมายเลขตำแหน่งเป็นข้อความ
  2. หลังจากที่ใช้ RoPE แล้ว คะแนนความสนใจระหว่างสองโทเค็นจะขึ้นอยู่กับ:
    • ตำแหน่งที่แน่นอนของพวกเขาเท่านั้น
    • ระยะทางสัมพัทธ์ (m ลบ n)
    • ขนาดคำศัพท์
    • ขนาดแบทช์
  3. What training-efficiency comparison did the YaRN paper report for context extension?
    • Exactly the same data and steps as all prior methods
    • No fine-tuning or training data of any kind
    • About 10x fewer tokens and 2.5x fewer training steps than prior methods
    • A fixed 100x increase in output tokens
  4. เหตุใดคู่มิติที่แตกต่างกันจึงหมุนด้วยความถี่ต่างกันใน RoPE
    • เพื่อประหยัดหน่วยความจำด้วยการข้ามมิติบางส่วน
    • เพื่อสุ่มผลลัพธ์ของโมเดล
    • เพราะทุกคู่ต้องใช้มุมเดียวกัน
    • เพื่อจับทั้งระเบียบท้องถิ่นที่ดีและตำแหน่งระยะยาว
  5. What is the goal of techniques such as Position Interpolation and YaRN for RoPE-based models?
    • Extend the usable context length beyond the original training window using additional scaling/fine-tuning methods
    • Guarantee accurate recall at any sequence length with no evaluation
    • Remove position information from attention
    • Replace all token embeddings with absolute learned vectors
  6. Does standard RoPE require learned absolute-position vectors to inject position into query and key representations?
    • Yes; it adds one learned vector for every possible sequence position
    • No; it applies position-dependent rotations to paired query/key dimensions
    • It removes query and key vectors entirely
    • It only adds position to value vectors
  7. What does standard RoPE alone guarantee about a model’s context length?
    • Unlimited accurate context at every position
    • A fixed context of exactly 128 tokens
    • It does not by itself guarantee reliable use beyond the trained context length
    • Removal of the attention mechanism
  8. What extended context length did the Position Interpolation paper report for its LLaMA evaluations?
    • Exactly 1,000 tokens with no position changes
    • Unlimited context with no fine-tuning
    • Up to 2 million tokens for all models
    • Up to 32,768 tokens with minimal fine-tuning