แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ

แบบทดสอบการขยายความยาวบริบทและ YaRN

ตรวจสอบวิธีที่ YaRN ปรับความถี่ RoPE, รักษา รายละเอียดในท้องถิ่น, ปรับขนาดอุณหภูมิความสนใจและขยายบริบทด้วยการปรับแต่งละเอียด

เส้นทางแนะนำที่เกี่ยวข้องการขยายความยาวเส้นด้ายและบริบท
คำถาม 1 ของ 8

YaRN ปรับเปลี่ยนวิธีการเข้ารหัสตำแหน่งใดเพื่อขยายบริบท

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. YaRN ปรับเปลี่ยนวิธีการเข้ารหัสตำแหน่งใดเพื่อขยายบริบท
    • การฝังตำแหน่งแบบหมุน (RoPE)
    • การฝังไซนูซอยด์แบบสัมบูรณ์
    • เรียนรู้ตารางการค้นหาตำแหน่ง
    • เมทริกซ์อคติสัมพัทธ์เท่านั้น
  2. จะเกิดอะไรขึ้นเมื่อโมเดล RoPE เห็นลำดับที่ยาวกว่าระยะเวลาการฝึก
    • โทเค็นไนเซอร์ขัดข้อง
    • มุมการหมุนเข้าสู่ช่วงที่มองไม่เห็นและประสิทธิภาพลดลง
    • โมเดลส่งออกเฉพาะศูนย์เท่านั้น
    • การไล่ระดับสีกลายเป็นหนึ่งเดียว
  3. YaRN จัดการกับมิติความถี่ RoPE ที่แตกต่างกันอย่างไร
    • มันสอดแทรกทุกมิติอย่างเท่าเทียมกัน
    • มันจะลบมิติความถี่สูง
    • โดยจะประมาณค่ามิติความถี่ต่ำในขณะที่ยังคงรักษาขนาดความถี่สูงไว้เป็นส่วนใหญ่
    • มันสุ่มทุกมิติ
  4. นอกจากการลดขนาดความถี่แล้ว YaRN ยังปรับใช้การปรับพิเศษอะไรบ้าง?
    • โทเค็นไนเซอร์ใหม่
    • เพิ่มจำนวนชั้นเป็นสองเท่า
    • การลบการทำให้เป็นมาตรฐานของเลเยอร์
    • การปรับอุณหภูมิความสนใจ (การปรับสเกล softmax)
  5. อะไรคือข้อได้เปรียบเชิงปฏิบัติที่สำคัญของ YaRN เหนือการแก้ไขแบบไร้เดียงสา?
    • เข้าถึงบริบทที่ยาวโดยมีข้อมูลและขั้นตอนการปรับแต่งน้อยกว่ามาก
    • มันไม่จำเป็นต้องมีโมเดลเลย
    • ใช้งานได้ต่ำกว่า 512 โทเค็นเท่านั้น
    • ช่วยลดความจำเป็นในการใช้ GPU
  6. เหตุใดการประมาณค่าเชิงเส้นแบบไร้เดียงสาของความถี่ RoPE ทั้งหมดจึงเป็นอันตราย
    • มันส่งผลต่อเงื่อนไขอคติเท่านั้น
    • มันบีบอัดขนาดความถี่สูงที่เข้ารหัสรายละเอียดในเครื่อง
    • มันทำให้โมเดลมีขนาดใหญ่ขึ้น
    • มันเปลี่ยนขนาดคำศัพท์
  7. In RoPE, which vectors receive position-dependent rotations?
    • Only the value vectors
    • Only the model’s token IDs
    • The query and key vectors
    • The optimizer’s gradient and momentum
  8. What does YaRN’s attention-temperature adjustment address when context length is extended?
    • The number of GPU layers
    • The dimensions of the token vocabulary
    • The weight decay coefficient
    • Changes in attention entropy or softmax sharpness caused by the longer context