คู่มือทางเทคนิค

YaRN และการขยายความยาวบริบท

YaRN (ยังมีส่วนขยาย RoPE อีกอันหนึ่ง) เป็นเทคนิคที่มีประสิทธิภาพในการขยายหน้าต่างบริบทที่ใช้งานได้ของโมเดลไปไกลเกินกว่าที่ได้รับการฝึกฝน

ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min

บนหน้านี้อ่าน 2 นาที
  1. ภาพรวม
  2. เจาะลึก
  3. การใช้งานจริงในโลกแห่งความเป็นจริง
  4. อนาคตของ YaRN และการขยายความยาวบริบท
  5. การนำไปปฏิบัติ
  6. สำรวจต่อไป
  7. คำถามที่พบบ่อย

ภาพรวม

It cleverly rescales rotary position embeddings so a model trained on, say, 4K tokens can handle 32K or more with minimal fine-tuning.

เจาะลึก

LLM ที่ทันสมัยส่วนใหญ่เข้ารหัสตำแหน่งโทเค็นด้วย RoPE (Rotary Position Embeddings) ซึ่งจะหมุนคิวรีและเวกเตอร์คีย์ตามมุมที่เชื่อมโยงกับตำแหน่ง เมื่อคุณป้อนลำดับที่ยาวกว่าระยะเวลาการฝึก การหมุนเหล่านี้จะเข้าสู่ช่วงที่มองไม่เห็นและแบบจำลองจะพัง YaRN ซึ่งเปิดตัวในปี 2023 โดย Bowen Peng และผู้ทำงานร่วมกัน แก้ไขปัญหานี้ด้วยการแก้ไขแบบ NTK-aware ที่ใช้ต่อความถี่ โดยปล่อยให้มิติความถี่สูง (ซึ่งจับความสัมพันธ์ในท้องถิ่นและช่วงสั้น) ส่วนใหญ่ไม่ถูกแตะต้องในขณะที่แก้ไขมิติความถี่ต่ำ (ซึ่งติดตามตำแหน่งระยะไกล) YaRN ยังเพิ่มการปรับอุณหภูมิตามความสนใจเพื่อตอบโต้การเปลี่ยนแปลงเอนโทรปีที่มาจากบริบทที่ยาวกว่า ผลลัพธ์ที่ได้คือประสิทธิภาพการทำงานในบริบทระยะยาวที่แข็งแกร่ง หลังจากปรับแต่งข้อมูลและขั้นตอนเพียงเล็กน้อยที่แนวทางที่ไร้เดียงสาต้องการ

การใช้งานจริงในโลกแห่งความเป็นจริง

การขยายโมเดลบริบท 4K แบบเปิดเป็น 32K หรือ 128K สำหรับการตอบคำถามเกี่ยวกับเอกสารขนาดยาวพร้อมการปรับแต่งแบบสั้นๆ

การเปิดใช้งานระบบที่เสริมการดึงข้อมูลเพื่อนำเข้าข้อความที่ต่อกันจำนวนมากโดยไม่มีการตัดทอน

ขับเคลื่อนผู้ช่วยโค้ดที่ต้องการไฟล์พื้นที่เก็บข้อมูลขนาดใหญ่ทั้งหมดหรือหลายไฟล์ในพร้อมท์เดียว

การปรับโมเดลพื้นฐานสำหรับการสนทนาหลายรอบที่ยาวนานซึ่งสะสมประวัติการแชทจำนวนมาก

อนาคตของ YaRN และการขยายความยาวบริบท

ส่วนขยายบริบทกลายเป็นแนวปฏิบัติมาตรฐานแล้ว: โมเดลแบบเปิดมักจะจัดส่งตัวแปรที่ขยายด้วย YaRN ซึ่งมีโทเค็นถึง 128,000 โทเค็นหรือสูงกว่านั้น การวิจัยกำลังมุ่งไปสู่วิธีการที่ขยายบริบทด้วยการปรับแบบละเอียดเป็นศูนย์หรือใกล้ศูนย์ รวมการลดขนาด RoPE เข้ากับเทคนิครูปแบบความสนใจ และรักษาคุณภาพทั่วทั้งหน้าต่าง แทนที่จะเป็นเพียงจุดสิ้นสุด คาดว่าจะมีการบูรณาการเทคนิคเหล่านี้อย่างเข้มงวดมากขึ้นในการฝึกอบรมล่วงหน้า ดังนั้นบริบทที่ยาวจึงเป็นบริบทดั้งเดิม แทนที่จะดัดแปลง

การนำไปปฏิบัติ

ทำไมมันถึงสำคัญ

  • ต้นทุนและงบประมาณ. การตัดสินใจด้านสถาปัตยกรรมขับเคลื่อนประสิทธิภาพและต้นทุนการดำเนินงานเป็นเวลาหลายปี
  • การตัดสินใจที่ชัดเจนยิ่งขึ้น. การศึกษาด้านเทคนิคช่วยให้ทีมเลือกกลุ่มที่เหมาะสม ไม่ใช่แค่กลุ่มใหม่ล่าสุด
  • การควบคุมคุณภาพ. ตัวเลือกทางวิศวกรรมที่ดีกว่าจะช่วยลดเหตุการณ์ด้านความน่าเชื่อถือในการผลิต

ระวัง

  • การเพิ่มประสิทธิภาพเกณฑ์มาตรฐานหนึ่งรายการสามารถซ่อนจุดอ่อนของระบบในวงกว้างได้
  • ต้นทุนโครงสร้างพื้นฐานและการบำรุงรักษามักถูกประเมินต่ำไป
  • ช่องว่างด้านความปลอดภัยและความสามารถในการสังเกตสามารถเพิ่มขึ้นได้เมื่อระบบมีความซับซ้อนมากขึ้น

ขั้นตอนต่อไป

  1. กำหนดเป้าหมายเวลาแฝง คุณภาพ และต้นทุนก่อนนำไปใช้งาน
  2. เกณฑ์มาตรฐานภายใต้สภาวะโหลดและข้อมูลจริง
  3. การตรวจสอบเครื่องมือเพื่อหาข้อผิดพลาด การเบี่ยงเบน และผลกระทบต่อผู้ใช้
  4. เตรียมเส้นทางการย้อนกลับและการตอบสนองต่อเหตุการณ์ก่อนปรับขนาด

สำรวจต่อไป

จดหมายข่าวฟรี

รับสรุป AI รายวัน

เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา

อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ

ทดสอบตัวเอง

Take the YaRN and Context Length Extension quiz

ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร

เริ่มแบบทดสอบ

สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค

คำถามที่พบบ่อย

What is YaRN and Context Length Extension?

YaRN (ยังมีส่วนขยาย RoPE อีกอันหนึ่ง) เป็นเทคนิคที่มีประสิทธิภาพในการขยายหน้าต่างบริบทที่ใช้งานได้ของโมเดลไปไกลเกินกว่าที่ได้รับการฝึกฝน โดยจะปรับขนาดการฝังตำแหน่งแบบหมุนใหม่อย่างชาญฉลาด เพื่อให้โมเดลที่ผ่านการฝึกฝน เช่น โทเค็น 4K สามารถรองรับ 32K หรือมากกว่านั้นได้ด้วยการปรับแต่งแบบละเอียดเพียงเล็กน้อย

YaRN ปรับเปลี่ยนวิธีการเข้ารหัสตำแหน่งใดเพื่อขยายบริบท

YaRN ซึ่งชื่อหมายถึง อีกหนึ่งส่วนขยาย RoPE ได้ทำการปรับขนาดการฝังตำแหน่งแบบหมุนที่ใช้ใน LLM ที่ทันสมัยที่สุด

จะเกิดอะไรขึ้นเมื่อโมเดล RoPE เห็นลำดับที่ยาวกว่าระยะเวลาการฝึก

ตำแหน่งที่อยู่นอกเหนือการฝึกจะสร้างมุมการหมุนอย่างที่โมเดลไม่เคยเห็นมาก่อน ดังนั้นพฤติกรรมความสนใจจึงลดลงอย่างรวดเร็ว

YaRN จัดการกับมิติความถี่ RoPE ที่แตกต่างกันอย่างไร

YaRN ใช้ทางลาด NTK ต่อชิ้นส่วนที่ประมาณค่าการหรี่แสงความถี่ต่ำที่มีความยาวคลื่นยาว และทำให้ช่วงแสงความถี่สูงในระยะสั้นไม่เสียหายโดยส่วนใหญ่

นอกจากการลดขนาดความถี่แล้ว YaRN ยังปรับใช้การปรับพิเศษอะไรบ้าง?

YaRN เพิ่มการปรับขนาดอุณหภูมิให้กับบันทึกความสนใจเพื่อต่อต้านการเปลี่ยนแปลงเอนโทรปีที่เกิดขึ้นเมื่อบริบทเพิ่มขึ้น

อะไรคือข้อได้เปรียบเชิงปฏิบัติที่สำคัญของ YaRN เหนือการแก้ไขแบบไร้เดียงสา?

YaRN บรรลุคุณภาพบริบทแบบยาวที่แข็งแกร่งหลังจากการปรับแต่งข้อมูลเพียงเล็กน้อยตามวิธีการไร้เดียงสาที่ต้องการ

เรียนรู้ต่อไป

คำแนะนำที่เกี่ยวข้อง

คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้

รับใบรับรอง AI ฟรีหลักสูตรและการสอบสั้น ๆ ฟรี ไม่มีค่าใช้จ่าย ไม่มีบัตรเครดิต ประมาณ 2.5 ชั่วโมงเริ่มต้นฟรี →