แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ
การแก้ไขตำแหน่งสำหรับแบบทดสอบบริบทแบบยาว
ตรวจสอบวิธีที่การแทรกตำแหน่ง (positional interpolation) ปรับสเกลตำแหน่ง RoPE ใหม่, สาเหตุที่การประมาณค่า extrapolation สามารถทำให้ความสนใจไม่เสถียร และสิ่งที่แหล่งที่มาได้ประเมินไว้
คำถาม 1 ของ 8
แนวคิดหลักเบื้องหลังการแก้ไขตำแหน่งคืออะไร
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- แนวคิดหลักเบื้องหลังการแก้ไขตำแหน่งคืออะไร
- บีบดัชนีตำแหน่งใหม่ให้อยู่ในช่วงที่โมเดลได้รับการฝึกฝนอยู่แล้ว
- ฝึกอบรมโมเดลใหม่ล่าสุดตั้งแต่เริ่มต้นสำหรับแต่ละความยาว
- การลบข้อมูลตำแหน่งโดยสิ้นเชิง
- การเรียงลำดับโทเค็นตามความสำคัญ
- เหตุใดการคาดการณ์แบบไร้เดียงสาไปยังตำแหน่งที่ยาวกว่าจึงล้มเหลว
- มันใช้หน่วยความจำน้อยเกินไป
- อาจทำให้คะแนนความสนใจพุ่งสูงขึ้นจนกลายเป็นค่าที่ไม่เสถียรและมีขนาดใหญ่มาก
- มันจะส่งคืนโทเค็นเดียวกันเสมอ
- ต้องใช้โทเค็นไนเซอร์อื่น
- PI ดั้งเดิมต้องมีการปรับแต่งอย่างละเอียดมากน้อยเพียงใดเพื่อขยาย LLaMA เป็น 32K
- ไม่มีการปรับจูนแต่อย่างใด
- ประมาณ 1 ล้านก้าว
- ประมาณ 1,000 ก้าว
- การฝึกซ้อมล่วงหน้าเต็มรูปแบบ
- หากคุณขยายบริบทด้วยปัจจัย s แล้ว PI จะแปลงตำแหน่ง m อย่างไร
- มันโยง m ถึง m คูณ s
- มันเทียบ m กับ m กำลังสอง
- มันทำให้เอ็มไม่เปลี่ยนแปลง
- มันโยง m ถึง m หารด้วย s
- PI มีอิทธิพลต่อวิธีการในภายหลังเช่น YaRN อย่างไร
- มันกลายเป็นพื้นฐานที่วิธีการรับรู้ความถี่ได้รับการปรับปรุงให้ดีขึ้น
- มันถูกละทิ้งและไม่เคยอ้างถึง
- มันเข้ามาแทนที่สถาปัตยกรรม Transformer
- ใช้ได้กับโมเดลรูปภาพเท่านั้น
- การเข้ารหัสตำแหน่งใดที่การประมาณค่าตำแหน่งกำหนดเป้าหมายเป็นหลัก
- การเข้ารหัสที่ร้อนแรงเพียงครั้งเดียว
- RoPE (การฝังตำแหน่งโรตารี)
- เวกเตอร์ Word2Vec
- ถุงของคำนับ
- A model trained to position 2K tokens is extended to 32K using PI. What is the extension factor s?
- 2
- 8
- 16
- 32
- With extension factor s = 16, where does PI map original position m = 16,000?
- Position 16,000
- Position 256,000
- Position 32,000
- Position 1,000