แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ
แบบทดสอบการปรับขนาดหน้าต่างบริบท YaRN
ตรวจสอบย่านความถี่ YaRN การผสมการเปลี่ยนแปลง อุณหภูมิความสนใจ ต้นทุนในการปรับตัว และความแตกต่างระหว่างความยาวและประสิทธิภาพที่รองรับ
คำถาม 1 ของ 8
YaRN ปรับเปลี่ยนรูปแบบการเข้ารหัสตำแหน่งใดเพื่อขยายความยาวบริบท
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- YaRN ปรับเปลี่ยนรูปแบบการเข้ารหัสตำแหน่งใดเพื่อขยายความยาวบริบท
- การฝังตำแหน่งแบบหมุน (RoPE)
- การฝังไซนูซอยด์แบบสัมบูรณ์
- เรียนรู้ตารางการค้นหาตำแหน่ง
- อคติเชิงเส้นของ ALiBi
- YaRN จัดการกับมิติ RoPE ความถี่สูงและความถี่ต่ำอย่างไร
- มันสอดแทรกทั้งสองอย่างเท่าเทียมกัน
- โดยจะลบมิติความถี่สูงออกไปโดยสิ้นเชิง
- มันแก้ไขมิติความถี่สูงเท่านั้น
- โดยปล่อยให้มิติความถี่สูงส่วนใหญ่ไม่เสียหาย และประมาณค่าความถี่ต่ำ
- How should YaRN's reported data and fine-tuning efficiency be interpreted?
- As proof that no YaRN model ever needs training
- As results for its evaluated model-extension setups, rather than a fixed guarantee for every model
- As a universal promise that every dataset size works equally well
- As removal of the need for GPUs or inference computation
- นอกจากการลดขนาดความถี่แล้ว YaRN ยังปรับใช้การปรับพิเศษอะไรบ้างเพื่อรักษาความสนใจในระยะยาวให้คงที่
- การออกกลางคันเพิ่มขึ้น
- คำศัพท์ที่ใหญ่กว่า
- การปรับอุณหภูมิความสนใจ (การปรับสเกล softmax)
- การตัดแบบไล่ระดับสี
- What motivates evaluating a RoPE model before using a context far beyond its original training length?
- The model necessarily becomes perfectly accurate at longer lengths
- The context extension automatically reduces memory to zero
- A larger window proves every passage is equally easy to retrieve
- Positional and attention behavior may degrade outside the conditions it learned
- การแก้ไขตำแหน่งเชิงเส้นแบบไร้เดียงสาส่งผลเสียต่อความสามารถใดที่ YaRN มุ่งหวังที่จะรักษาไว้
- ความสัมพันธ์ในท้องถิ่นที่ดีระหว่างโทเค็นใกล้เคียง
- ขนาดคำศัพท์ของโมเดล
- ความเร็วของโทเค็น
- จำนวนชั้น
- What happens in the transition region between YaRN's high- and low-frequency treatments?
- Every dimension is assigned a random vocabulary token
- All transition dimensions are deleted from attention
- The scheme blends original and interpolated frequency treatment across the relevant dimensions
- One identical scaling rule ignores frequency differences entirely
- What does a checkpoint's advertised longer YaRN context limit fail to establish by itself?
- Whether the positional scheme can accept any coordinates at all
- Reliable performance for every intended task and position within that window
- The spelling of the model's name
- A requirement that every inference request retrain all weights