คู่มือทางเทคนิค
YaRN และการขยายความยาวบริบท
YaRN (ยังมีส่วนขยาย RoPE อีกอันหนึ่ง) เป็นเทคนิคที่มีประสิทธิภาพในการขยายหน้าต่างบริบทที่ใช้งานได้ของโมเดลไปไกลเกินกว่าที่ได้รับการฝึกฝน
ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min
บนหน้านี้อ่าน 2 นาที
ภาพรวม
It cleverly rescales rotary position embeddings so a model trained on, say, 4K tokens can handle 32K or more with minimal fine-tuning.
เจาะลึก
LLM ที่ทันสมัยส่วนใหญ่เข้ารหัสตำแหน่งโทเค็นด้วย RoPE (Rotary Position Embeddings) ซึ่งจะหมุนคิวรีและเวกเตอร์คีย์ตามมุมที่เชื่อมโยงกับตำแหน่ง เมื่อคุณป้อนลำดับที่ยาวกว่าระยะเวลาการฝึก การหมุนเหล่านี้จะเข้าสู่ช่วงที่มองไม่เห็นและแบบจำลองจะพัง YaRN ซึ่งเปิดตัวในปี 2023 โดย Bowen Peng และผู้ทำงานร่วมกัน แก้ไขปัญหานี้ด้วยการแก้ไขแบบ NTK-aware ที่ใช้ต่อความถี่ โดยปล่อยให้มิติความถี่สูง (ซึ่งจับความสัมพันธ์ในท้องถิ่นและช่วงสั้น) ส่วนใหญ่ไม่ถูกแตะต้องในขณะที่แก้ไขมิติความถี่ต่ำ (ซึ่งติดตามตำแหน่งระยะไกล) YaRN ยังเพิ่มการปรับอุณหภูมิตามความสนใจเพื่อตอบโต้การเปลี่ยนแปลงเอนโทรปีที่มาจากบริบทที่ยาวกว่า ผลลัพธ์ที่ได้คือประสิทธิภาพการทำงานในบริบทระยะยาวที่แข็งแกร่ง หลังจากปรับแต่งข้อมูลและขั้นตอนเพียงเล็กน้อยที่แนวทางที่ไร้เดียงสาต้องการ
การใช้งานจริงในโลกแห่งความเป็นจริง
การขยายโมเดลบริบท 4K แบบเปิดเป็น 32K หรือ 128K สำหรับการตอบคำถามเกี่ยวกับเอกสารขนาดยาวพร้อมการปรับแต่งแบบสั้นๆ
การเปิดใช้งานระบบที่เสริมการดึงข้อมูลเพื่อนำเข้าข้อความที่ต่อกันจำนวนมากโดยไม่มีการตัดทอน
ขับเคลื่อนผู้ช่วยโค้ดที่ต้องการไฟล์พื้นที่เก็บข้อมูลขนาดใหญ่ทั้งหมดหรือหลายไฟล์ในพร้อมท์เดียว
การปรับโมเดลพื้นฐานสำหรับการสนทนาหลายรอบที่ยาวนานซึ่งสะสมประวัติการแชทจำนวนมาก
อนาคตของ YaRN และการขยายความยาวบริบท
ส่วนขยายบริบทกลายเป็นแนวปฏิบัติมาตรฐานแล้ว: โมเดลแบบเปิดมักจะจัดส่งตัวแปรที่ขยายด้วย YaRN ซึ่งมีโทเค็นถึง 128,000 โทเค็นหรือสูงกว่านั้น การวิจัยกำลังมุ่งไปสู่วิธีการที่ขยายบริบทด้วยการปรับแบบละเอียดเป็นศูนย์หรือใกล้ศูนย์ รวมการลดขนาด RoPE เข้ากับเทคนิครูปแบบความสนใจ และรักษาคุณภาพทั่วทั้งหน้าต่าง แทนที่จะเป็นเพียงจุดสิ้นสุด คาดว่าจะมีการบูรณาการเทคนิคเหล่านี้อย่างเข้มงวดมากขึ้นในการฝึกอบรมล่วงหน้า ดังนั้นบริบทที่ยาวจึงเป็นบริบทดั้งเดิม แทนที่จะดัดแปลง
การนำไปปฏิบัติ
ทำไมมันถึงสำคัญ
- ต้นทุนและงบประมาณ. การตัดสินใจด้านสถาปัตยกรรมขับเคลื่อนประสิทธิภาพและต้นทุนการดำเนินงานเป็นเวลาหลายปี
- การตัดสินใจที่ชัดเจนยิ่งขึ้น. การศึกษาด้านเทคนิคช่วยให้ทีมเลือกกลุ่มที่เหมาะสม ไม่ใช่แค่กลุ่มใหม่ล่าสุด
- การควบคุมคุณภาพ. ตัวเลือกทางวิศวกรรมที่ดีกว่าจะช่วยลดเหตุการณ์ด้านความน่าเชื่อถือในการผลิต
ระวัง
- การเพิ่มประสิทธิภาพเกณฑ์มาตรฐานหนึ่งรายการสามารถซ่อนจุดอ่อนของระบบในวงกว้างได้
- ต้นทุนโครงสร้างพื้นฐานและการบำรุงรักษามักถูกประเมินต่ำไป
- ช่องว่างด้านความปลอดภัยและความสามารถในการสังเกตสามารถเพิ่มขึ้นได้เมื่อระบบมีความซับซ้อนมากขึ้น
ขั้นตอนต่อไป
- กำหนดเป้าหมายเวลาแฝง คุณภาพ และต้นทุนก่อนนำไปใช้งาน
- เกณฑ์มาตรฐานภายใต้สภาวะโหลดและข้อมูลจริง
- การตรวจสอบเครื่องมือเพื่อหาข้อผิดพลาด การเบี่ยงเบน และผลกระทบต่อผู้ใช้
- เตรียมเส้นทางการย้อนกลับและการตอบสนองต่อเหตุการณ์ก่อนปรับขนาด
สำรวจต่อไป
จดหมายข่าวฟรี
รับสรุป AI รายวัน
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
Take the YaRN and Context Length Extension quiz
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
คำถามที่พบบ่อย
What is YaRN and Context Length Extension?
YaRN (ยังมีส่วนขยาย RoPE อีกอันหนึ่ง) เป็นเทคนิคที่มีประสิทธิภาพในการขยายหน้าต่างบริบทที่ใช้งานได้ของโมเดลไปไกลเกินกว่าที่ได้รับการฝึกฝน โดยจะปรับขนาดการฝังตำแหน่งแบบหมุนใหม่อย่างชาญฉลาด เพื่อให้โมเดลที่ผ่านการฝึกฝน เช่น โทเค็น 4K สามารถรองรับ 32K หรือมากกว่านั้นได้ด้วยการปรับแต่งแบบละเอียดเพียงเล็กน้อย
YaRN ปรับเปลี่ยนวิธีการเข้ารหัสตำแหน่งใดเพื่อขยายบริบท
YaRN ซึ่งชื่อหมายถึง อีกหนึ่งส่วนขยาย RoPE ได้ทำการปรับขนาดการฝังตำแหน่งแบบหมุนที่ใช้ใน LLM ที่ทันสมัยที่สุด
จะเกิดอะไรขึ้นเมื่อโมเดล RoPE เห็นลำดับที่ยาวกว่าระยะเวลาการฝึก
ตำแหน่งที่อยู่นอกเหนือการฝึกจะสร้างมุมการหมุนอย่างที่โมเดลไม่เคยเห็นมาก่อน ดังนั้นพฤติกรรมความสนใจจึงลดลงอย่างรวดเร็ว
YaRN จัดการกับมิติความถี่ RoPE ที่แตกต่างกันอย่างไร
YaRN ใช้ทางลาด NTK ต่อชิ้นส่วนที่ประมาณค่าการหรี่แสงความถี่ต่ำที่มีความยาวคลื่นยาว และทำให้ช่วงแสงความถี่สูงในระยะสั้นไม่เสียหายโดยส่วนใหญ่
นอกจากการลดขนาดความถี่แล้ว YaRN ยังปรับใช้การปรับพิเศษอะไรบ้าง?
YaRN เพิ่มการปรับขนาดอุณหภูมิให้กับบันทึกความสนใจเพื่อต่อต้านการเปลี่ยนแปลงเอนโทรปีที่เกิดขึ้นเมื่อบริบทเพิ่มขึ้น
อะไรคือข้อได้เปรียบเชิงปฏิบัติที่สำคัญของ YaRN เหนือการแก้ไขแบบไร้เดียงสา?
YaRN บรรลุคุณภาพบริบทแบบยาวที่แข็งแกร่งหลังจากการปรับแต่งข้อมูลเพียงเล็กน้อยตามวิธีการไร้เดียงสาที่ต้องการ
เรียนรู้ต่อไป
คำแนะนำที่เกี่ยวข้อง
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้