แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ
แบบทดสอบการขยายความยาวบริบทและ YaRN
ตรวจสอบวิธีที่ YaRN ปรับความถี่ RoPE, รักษา รายละเอียดในท้องถิ่น, ปรับขนาดอุณหภูมิความสนใจและขยายบริบทด้วยการปรับแต่งละเอียด
คำถาม 1 ของ 8
YaRN ปรับเปลี่ยนวิธีการเข้ารหัสตำแหน่งใดเพื่อขยายบริบท
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- YaRN ปรับเปลี่ยนวิธีการเข้ารหัสตำแหน่งใดเพื่อขยายบริบท
- การฝังตำแหน่งแบบหมุน (RoPE)
- การฝังไซนูซอยด์แบบสัมบูรณ์
- เรียนรู้ตารางการค้นหาตำแหน่ง
- เมทริกซ์อคติสัมพัทธ์เท่านั้น
- จะเกิดอะไรขึ้นเมื่อโมเดล RoPE เห็นลำดับที่ยาวกว่าระยะเวลาการฝึก
- โทเค็นไนเซอร์ขัดข้อง
- มุมการหมุนเข้าสู่ช่วงที่มองไม่เห็นและประสิทธิภาพลดลง
- โมเดลส่งออกเฉพาะศูนย์เท่านั้น
- การไล่ระดับสีกลายเป็นหนึ่งเดียว
- YaRN จัดการกับมิติความถี่ RoPE ที่แตกต่างกันอย่างไร
- มันสอดแทรกทุกมิติอย่างเท่าเทียมกัน
- มันจะลบมิติความถี่สูง
- โดยจะประมาณค่ามิติความถี่ต่ำในขณะที่ยังคงรักษาขนาดความถี่สูงไว้เป็นส่วนใหญ่
- มันสุ่มทุกมิติ
- นอกจากการลดขนาดความถี่แล้ว YaRN ยังปรับใช้การปรับพิเศษอะไรบ้าง?
- โทเค็นไนเซอร์ใหม่
- เพิ่มจำนวนชั้นเป็นสองเท่า
- การลบการทำให้เป็นมาตรฐานของเลเยอร์
- การปรับอุณหภูมิความสนใจ (การปรับสเกล softmax)
- อะไรคือข้อได้เปรียบเชิงปฏิบัติที่สำคัญของ YaRN เหนือการแก้ไขแบบไร้เดียงสา?
- เข้าถึงบริบทที่ยาวโดยมีข้อมูลและขั้นตอนการปรับแต่งน้อยกว่ามาก
- มันไม่จำเป็นต้องมีโมเดลเลย
- ใช้งานได้ต่ำกว่า 512 โทเค็นเท่านั้น
- ช่วยลดความจำเป็นในการใช้ GPU
- เหตุใดการประมาณค่าเชิงเส้นแบบไร้เดียงสาของความถี่ RoPE ทั้งหมดจึงเป็นอันตราย
- มันส่งผลต่อเงื่อนไขอคติเท่านั้น
- มันบีบอัดขนาดความถี่สูงที่เข้ารหัสรายละเอียดในเครื่อง
- มันทำให้โมเดลมีขนาดใหญ่ขึ้น
- มันเปลี่ยนขนาดคำศัพท์
- In RoPE, which vectors receive position-dependent rotations?
- Only the value vectors
- Only the model’s token IDs
- The query and key vectors
- The optimizer’s gradient and momentum
- What does YaRN’s attention-temperature adjustment address when context length is extended?
- The number of GPU layers
- The dimensions of the token vocabulary
- The weight decay coefficient
- Changes in attention entropy or softmax sharpness caused by the longer context