แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ

การแก้ไขตำแหน่งสำหรับแบบทดสอบบริบทแบบยาว

ตรวจสอบวิธีที่การแทรกตำแหน่ง (positional interpolation) ปรับสเกลตำแหน่ง RoPE ใหม่, สาเหตุที่การประมาณค่า extrapolation สามารถทำให้ความสนใจไม่เสถียร และสิ่งที่แหล่งที่มาได้ประเมินไว้

เส้นทางแนะนำที่เกี่ยวข้องการแก้ไขตำแหน่งสำหรับบริบทที่ยาว
คำถาม 1 ของ 8

แนวคิดหลักเบื้องหลังการแก้ไขตำแหน่งคืออะไร

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. แนวคิดหลักเบื้องหลังการแก้ไขตำแหน่งคืออะไร
    • บีบดัชนีตำแหน่งใหม่ให้อยู่ในช่วงที่โมเดลได้รับการฝึกฝนอยู่แล้ว
    • ฝึกอบรมโมเดลใหม่ล่าสุดตั้งแต่เริ่มต้นสำหรับแต่ละความยาว
    • การลบข้อมูลตำแหน่งโดยสิ้นเชิง
    • การเรียงลำดับโทเค็นตามความสำคัญ
  2. เหตุใดการคาดการณ์แบบไร้เดียงสาไปยังตำแหน่งที่ยาวกว่าจึงล้มเหลว
    • มันใช้หน่วยความจำน้อยเกินไป
    • อาจทำให้คะแนนความสนใจพุ่งสูงขึ้นจนกลายเป็นค่าที่ไม่เสถียรและมีขนาดใหญ่มาก
    • มันจะส่งคืนโทเค็นเดียวกันเสมอ
    • ต้องใช้โทเค็นไนเซอร์อื่น
  3. PI ดั้งเดิมต้องมีการปรับแต่งอย่างละเอียดมากน้อยเพียงใดเพื่อขยาย LLaMA เป็น 32K
    • ไม่มีการปรับจูนแต่อย่างใด
    • ประมาณ 1 ล้านก้าว
    • ประมาณ 1,000 ก้าว
    • การฝึกซ้อมล่วงหน้าเต็มรูปแบบ
  4. หากคุณขยายบริบทด้วยปัจจัย s แล้ว PI จะแปลงตำแหน่ง m อย่างไร
    • มันโยง m ถึง m คูณ s
    • มันเทียบ m กับ m กำลังสอง
    • มันทำให้เอ็มไม่เปลี่ยนแปลง
    • มันโยง m ถึง m หารด้วย s
  5. PI มีอิทธิพลต่อวิธีการในภายหลังเช่น YaRN อย่างไร
    • มันกลายเป็นพื้นฐานที่วิธีการรับรู้ความถี่ได้รับการปรับปรุงให้ดีขึ้น
    • มันถูกละทิ้งและไม่เคยอ้างถึง
    • มันเข้ามาแทนที่สถาปัตยกรรม Transformer
    • ใช้ได้กับโมเดลรูปภาพเท่านั้น
  6. การเข้ารหัสตำแหน่งใดที่การประมาณค่าตำแหน่งกำหนดเป้าหมายเป็นหลัก
    • การเข้ารหัสที่ร้อนแรงเพียงครั้งเดียว
    • RoPE (การฝังตำแหน่งโรตารี)
    • เวกเตอร์ Word2Vec
    • ถุงของคำนับ
  7. A model trained to position 2K tokens is extended to 32K using PI. What is the extension factor s?
    • 2
    • 8
    • 16
    • 32
  8. With extension factor s = 16, where does PI map original position m = 16,000?
    • Position 16,000
    • Position 256,000
    • Position 32,000
    • Position 1,000