แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ

แบบทดสอบการปรับขนาดหน้าต่างบริบท YaRN

ตรวจสอบย่านความถี่ YaRN การผสมการเปลี่ยนแปลง อุณหภูมิความสนใจ ต้นทุนในการปรับตัว และความแตกต่างระหว่างความยาวและประสิทธิภาพที่รองรับ

เส้นทางแนะนำที่เกี่ยวข้องการปรับขนาดหน้าต่างบริบทเส้นด้าย
คำถาม 1 ของ 8

YaRN ปรับเปลี่ยนรูปแบบการเข้ารหัสตำแหน่งใดเพื่อขยายความยาวบริบท

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. YaRN ปรับเปลี่ยนรูปแบบการเข้ารหัสตำแหน่งใดเพื่อขยายความยาวบริบท
    • การฝังตำแหน่งแบบหมุน (RoPE)
    • การฝังไซนูซอยด์แบบสัมบูรณ์
    • เรียนรู้ตารางการค้นหาตำแหน่ง
    • อคติเชิงเส้นของ ALiBi
  2. YaRN จัดการกับมิติ RoPE ความถี่สูงและความถี่ต่ำอย่างไร
    • มันสอดแทรกทั้งสองอย่างเท่าเทียมกัน
    • โดยจะลบมิติความถี่สูงออกไปโดยสิ้นเชิง
    • มันแก้ไขมิติความถี่สูงเท่านั้น
    • โดยปล่อยให้มิติความถี่สูงส่วนใหญ่ไม่เสียหาย และประมาณค่าความถี่ต่ำ
  3. How should YaRN's reported data and fine-tuning efficiency be interpreted?
    • As proof that no YaRN model ever needs training
    • As results for its evaluated model-extension setups, rather than a fixed guarantee for every model
    • As a universal promise that every dataset size works equally well
    • As removal of the need for GPUs or inference computation
  4. นอกจากการลดขนาดความถี่แล้ว YaRN ยังปรับใช้การปรับพิเศษอะไรบ้างเพื่อรักษาความสนใจในระยะยาวให้คงที่
    • การออกกลางคันเพิ่มขึ้น
    • คำศัพท์ที่ใหญ่กว่า
    • การปรับอุณหภูมิความสนใจ (การปรับสเกล softmax)
    • การตัดแบบไล่ระดับสี
  5. What motivates evaluating a RoPE model before using a context far beyond its original training length?
    • The model necessarily becomes perfectly accurate at longer lengths
    • The context extension automatically reduces memory to zero
    • A larger window proves every passage is equally easy to retrieve
    • Positional and attention behavior may degrade outside the conditions it learned
  6. การแก้ไขตำแหน่งเชิงเส้นแบบไร้เดียงสาส่งผลเสียต่อความสามารถใดที่ YaRN มุ่งหวังที่จะรักษาไว้
    • ความสัมพันธ์ในท้องถิ่นที่ดีระหว่างโทเค็นใกล้เคียง
    • ขนาดคำศัพท์ของโมเดล
    • ความเร็วของโทเค็น
    • จำนวนชั้น
  7. What happens in the transition region between YaRN's high- and low-frequency treatments?
    • Every dimension is assigned a random vocabulary token
    • All transition dimensions are deleted from attention
    • The scheme blends original and interpolated frequency treatment across the relevant dimensions
    • One identical scaling rule ignores frequency differences entirely
  8. What does a checkpoint's advertised longer YaRN context limit fail to establish by itself?
    • Whether the positional scheme can accept any coordinates at all
    • Reliable performance for every intended task and position within that window
    • The spelling of the model's name
    • A requirement that every inference request retrain all weights