YaRN และการขยายความยาวบริบท
YaRN (ยังมีส่วนขยาย RoPE อีกอันหนึ่ง) เป็นเทคนิคที่มีประสิทธิภาพในการขยายหน้าต่างบริบทที่ใช้งานได้ของโมเดลไปไกลเกินกว่าที่ได้รับการฝึกฝน
ภาพรวม
It cleverly rescales rotary position embeddings so a model trained on, say, 4K tokens can handle 32K or more with minimal fine-tuning.
เจาะลึก
LLM ที่ทันสมัยส่วนใหญ่เข้ารหัสตำแหน่งโทเค็นด้วย RoPE (Rotary Position Embeddings) ซึ่งจะหมุนคิวรีและเวกเตอร์คีย์ตามมุมที่เชื่อมโยงกับตำแหน่ง เมื่อคุณป้อนลำดับที่ยาวกว่าระยะเวลาการฝึก การหมุนเหล่านี้จะเข้าสู่ช่วงที่มองไม่เห็นและแบบจำลองจะพัง YaRN ซึ่งเปิดตัวในปี 2023 โดย Bowen Peng และผู้ทำงานร่วมกัน แก้ไขปัญหานี้ด้วยการแก้ไขแบบ NTK-aware ที่ใช้ต่อความถี่ โดยปล่อยให้มิติความถี่สูง (ซึ่งจับความสัมพันธ์ในท้องถิ่นและช่วงสั้น) ส่วนใหญ่ไม่ถูกแตะต้องในขณะที่แก้ไขมิติความถี่ต่ำ (ซึ่งติดตามตำแหน่งระยะไกล) YaRN ยังเพิ่มการปรับอุณหภูมิตามความสนใจเพื่อตอบโต้การเปลี่ยนแปลงเอนโทรปีที่มาจากบริบทที่ยาวกว่า ผลลัพธ์ที่ได้คือประสิทธิภาพการทำงานในบริบทระยะยาวที่แข็งแกร่ง หลังจากปรับแต่งข้อมูลและขั้นตอนเพียงเล็กน้อยที่แนวทางที่ไร้เดียงสาต้องการ
ข้อมูลเชิงลึกทางเทคนิค
RoPE กำหนดความถี่ในการหมุนของมิติการฝังแต่ละมิติ การประมาณค่าเชิงเส้นแบบไร้เดียงสาจะบีบอัดความถี่ทั้งหมดเท่าๆ กัน ส่งผลเสียต่อมิติความถี่สูงที่เข้ารหัสรายละเอียดเฉพาะจุดอย่างละเอียด YaRN ใช้ฟังก์ชันทางลาดเพื่อประมาณค่าเฉพาะขนาดความถี่ต่ำ (ความยาวคลื่นยาว) ในขณะที่รักษาขนาดความถี่สูงไว้ บวกกับการปรับขนาดอุณหภูมิความสนใจ 1/sqrt(t) ที่ช่วยให้ความคมชัดของ softmax คงที่เมื่อความยาวของลำดับเพิ่มขึ้น วิธีการแบบ NTK แบบแยกส่วนนี้ขยายบริบทโดยมีความเสื่อมโทรมน้อยลงมาก
ผลกระทบเชิงกลยุทธ์
ต้นทุนและงบประมาณ
การตัดสินใจด้านสถาปัตยกรรมขับเคลื่อนประสิทธิภาพและต้นทุนการดำเนินงานเป็นเวลาหลายปี
การตัดสินใจที่ชัดเจนยิ่งขึ้น
การศึกษาด้านเทคนิคช่วยให้ทีมเลือกกลุ่มที่เหมาะสม ไม่ใช่แค่กลุ่มใหม่ล่าสุด
การควบคุมคุณภาพ
ตัวเลือกทางวิศวกรรมที่ดีกว่าจะช่วยลดเหตุการณ์ด้านความน่าเชื่อถือในการผลิต
อนาคตของ YaRN และการขยายความยาวบริบท
ส่วนขยายบริบทกลายเป็นแนวปฏิบัติมาตรฐานแล้ว: โมเดลแบบเปิดมักจะจัดส่งตัวแปรที่ขยายด้วย YaRN ซึ่งมีโทเค็นถึง 128,000 โทเค็นหรือสูงกว่านั้น การวิจัยกำลังมุ่งไปสู่วิธีการที่ขยายบริบทด้วยการปรับแบบละเอียดเป็นศูนย์หรือใกล้ศูนย์ รวมการลดขนาด RoPE เข้ากับเทคนิครูปแบบความสนใจ และรักษาคุณภาพทั่วทั้งหน้าต่าง แทนที่จะเป็นเพียงจุดสิ้นสุด คาดว่าจะมีการบูรณาการเทคนิคเหล่านี้อย่างเข้มงวดมากขึ้นในการฝึกอบรมล่วงหน้า ดังนั้นบริบทที่ยาวจึงเป็นบริบทดั้งเดิม แทนที่จะดัดแปลง
การใช้งานจริงในโลกแห่งความเป็นจริง
การขยายโมเดลบริบท 4K แบบเปิดเป็น 32K หรือ 128K สำหรับการตอบคำถามเกี่ยวกับเอกสารขนาดยาวพร้อมการปรับแต่งแบบสั้นๆ
การเปิดใช้งานระบบที่เสริมการดึงข้อมูลเพื่อนำเข้าข้อความที่ต่อกันจำนวนมากโดยไม่มีการตัดทอน
ขับเคลื่อนผู้ช่วยโค้ดที่ต้องการไฟล์พื้นที่เก็บข้อมูลขนาดใหญ่ทั้งหมดหรือหลายไฟล์ในพร้อมท์เดียว
การปรับโมเดลพื้นฐานสำหรับการสนทนาหลายรอบที่ยาวนานซึ่งสะสมประวัติการแชทจำนวนมาก
ความเสี่ยงและรั้ว
การเพิ่มประสิทธิภาพเกณฑ์มาตรฐานหนึ่งรายการสามารถซ่อนจุดอ่อนของระบบในวงกว้างได้
ต้นทุนโครงสร้างพื้นฐานและการบำรุงรักษามักถูกประเมินต่ำไป
ช่องว่างด้านความปลอดภัยและความสามารถในการสังเกตสามารถเพิ่มขึ้นได้เมื่อระบบมีความซับซ้อนมากขึ้น
แผนงานการดำเนินงาน
กำหนดเป้าหมายเวลาแฝง คุณภาพ และต้นทุนก่อนนำไปใช้งาน
เกณฑ์มาตรฐานภายใต้สภาวะโหลดและข้อมูลจริง
การตรวจสอบเครื่องมือเพื่อหาข้อผิดพลาด การเบี่ยงเบน และผลกระทบต่อผู้ใช้
เตรียมเส้นทางการย้อนกลับและการตอบสนองต่อเหตุการณ์ก่อนปรับขนาด
สำรวจต่อไป
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the YaRN and Context Length Extension quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
คำแนะนำต่อไป
การแก้ไขตำแหน่งสำหรับการขยายบริบท
คำถามที่พบบ่อย
What is YaRN and Context Length Extension?
YaRN (ยังมีส่วนขยาย RoPE อีกอันหนึ่ง) เป็นเทคนิคที่มีประสิทธิภาพในการขยายหน้าต่างบริบทที่ใช้งานได้ของโมเดลไปไกลเกินกว่าที่ได้รับการฝึกฝน โดยจะปรับขนาดการฝังตำแหน่งแบบหมุนใหม่อย่างชาญฉลาด เพื่อให้โมเดลที่ผ่านการฝึกฝน เช่น โทเค็น 4K สามารถรองรับ 32K หรือมากกว่านั้นได้ด้วยการปรับแต่งแบบละเอียดเพียงเล็กน้อย
YaRN ปรับเปลี่ยนวิธีการเข้ารหัสตำแหน่งใดเพื่อขยายบริบท
YaRN ซึ่งชื่อหมายถึง อีกหนึ่งส่วนขยาย RoPE ได้ทำการปรับขนาดการฝังตำแหน่งแบบหมุนที่ใช้ใน LLM ที่ทันสมัยที่สุด
จะเกิดอะไรขึ้นเมื่อโมเดล RoPE เห็นลำดับที่ยาวกว่าระยะเวลาการฝึก
ตำแหน่งที่อยู่นอกเหนือการฝึกจะสร้างมุมการหมุนอย่างที่โมเดลไม่เคยเห็นมาก่อน ดังนั้นพฤติกรรมความสนใจจึงลดลงอย่างรวดเร็ว
YaRN จัดการกับมิติความถี่ RoPE ที่แตกต่างกันอย่างไร
YaRN ใช้ทางลาด NTK ต่อชิ้นส่วนที่ประมาณค่าการหรี่แสงความถี่ต่ำที่มีความยาวคลื่นยาว และทำให้ช่วงแสงความถี่สูงในระยะสั้นไม่เสียหายโดยส่วนใหญ่
นอกจากการลดขนาดความถี่แล้ว YaRN ยังปรับใช้การปรับพิเศษอะไรบ้าง?
YaRN เพิ่มการปรับขนาดอุณหภูมิให้กับบันทึกความสนใจเพื่อต่อต้านการเปลี่ยนแปลงเอนโทรปีที่เกิดขึ้นเมื่อบริบทเพิ่มขึ้น
อะไรคือข้อได้เปรียบเชิงปฏิบัติที่สำคัญของ YaRN เหนือการแก้ไขแบบไร้เดียงสา?
YaRN บรรลุคุณภาพบริบทแบบยาวที่แข็งแกร่งหลังจากการปรับแต่งข้อมูลเพียงเล็กน้อยตามวิธีการไร้เดียงสาที่ต้องการ