คู่มือทางเทคนิค
การแก้ไขตำแหน่งสำหรับบริบทแบบยาว
การแก้ไขตำแหน่ง (PI) เป็นเทคนิคง่ายๆ ที่มีอิทธิพลซึ่งจะขยายหน้าต่างบริบทของ Transformer โดยการบีบดัชนีตำแหน่งใหม่ให้อยู่ในช่วงที่โมเดลทราบอยู่แล้ว
ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min
บนหน้านี้อ่าน 2 นาที
ภาพรวม
Instead of extrapolating to unseen positions, it interpolates within trained ones, requiring only brief fine-tuning.
เจาะลึก
เปิดตัวโดยนักวิจัย Meta (Chen และคณะ) ในปี 2023 การแก้ไขตำแหน่งจะจัดการกับความจริงที่ว่าโมเดลที่มี RoPE ล้มเหลวอย่างหายนะเมื่อคาดการณ์ไปยังตำแหน่งที่อยู่นอกเหนือการฝึกอบรม ข้อมูลเชิงลึกนั้นขัดกับสัญชาตญาณ: แทนที่จะขอให้โมเดลจัดการค่าตำแหน่งที่มากขึ้นซึ่งไม่เคยเห็นมาก่อน PI จะแบ่งดัชนีตำแหน่งที่เข้ามาตามสเกลแฟคเตอร์ ดังนั้นความยาวเป้าหมาย เช่น แผนที่ 8K กลับไปสู่ช่วง 2K ดั้งเดิม เนื่องจากโมเดลได้รับการฝึกฝนในช่วงนั้น การหมุนเวียนจึงอยู่ในการกระจาย หลังจากปรับแต่งอย่างละเอียดเพียง 1,000 ขั้นตอน โมเดล LLaMA ก็ขยายออกไปในลักษณะนี้ โดยสามารถจัดการบริบทได้สูงสุดถึง 32K บทความวิจัยนี้แสดงให้เห็นว่าการประมาณค่าสามารถเพิ่มคะแนนความสนใจเป็นค่ามหาศาลได้ ในขณะที่การประมาณค่าจะทำให้ค่าเหล่านี้มีขอบเขตและมีเสถียรภาพ ซึ่งเป็นสาเหตุที่การประมาณค่าทำงานได้ดีกว่าการประมาณค่าอย่างมาก
การใช้งานจริงในโลกแห่งความเป็นจริง
การขยายโมเดล LLaMA บริบท 2K เพื่อรองรับโทเค็น 8K-32K ด้วยขั้นตอนการปรับแต่งอย่างละเอียดประมาณ 1,000 ขั้นตอน
การปรับรูปแบบการแชทที่มีอยู่เพื่อการสรุปเอกสารขนาดยาวโดยไม่ต้องฝึกอบรมใหม่ตั้งแต่ต้น
ทำหน้าที่เป็นพื้นฐานทางแนวคิดที่การปรับขนาดที่รับรู้โดย NTK และ YaRN ได้รับการปรับปรุง
การเปิดใช้งานโค้ดบริบทแบบยาวหรือการวิเคราะห์เอกสารทางกฎหมายในโมเดลที่เดิมฝึกด้วยหน้าต่างแบบสั้น
อนาคตของการแก้ไขตำแหน่งสำหรับบริบทที่ยาว
การแก้ไขตำแหน่งกลายเป็นรากฐานสำหรับการติดตามผลจำนวนมาก รวมถึงการปรับขนาดที่รับรู้ NTK และ YaRN ซึ่งสอดแทรกอย่างคัดเลือกมากขึ้นเพื่อรักษารายละเอียดในท้องถิ่น วิถีโคจรมุ่งสู่วิธีการที่ต้องมีการปรับแต่งเพียงเล็กน้อยหรือไม่มีเลย และมุ่งสู่การอบการจัดการที่มีบริบทยาวนานเข้าสู่การฝึกล่วงหน้า PI ยังคงเป็นพื้นฐานที่มีคุณค่า และมักจะรวมกับรูปแบบการรับรู้ความถี่ที่ใหม่กว่าเพื่อเข้าถึงหน้าต่างบริบทมากกว่า 128,000 รายการอย่างมีประสิทธิภาพ
การนำไปปฏิบัติ
ทำไมมันถึงสำคัญ
- ต้นทุนและงบประมาณ. การตัดสินใจด้านสถาปัตยกรรมขับเคลื่อนประสิทธิภาพและต้นทุนการดำเนินงานเป็นเวลาหลายปี
- การตัดสินใจที่ชัดเจนยิ่งขึ้น. การศึกษาด้านเทคนิคช่วยให้ทีมเลือกกลุ่มที่เหมาะสม ไม่ใช่แค่กลุ่มใหม่ล่าสุด
- การควบคุมคุณภาพ. ตัวเลือกทางวิศวกรรมที่ดีกว่าจะช่วยลดเหตุการณ์ด้านความน่าเชื่อถือในการผลิต
ระวัง
- การเพิ่มประสิทธิภาพเกณฑ์มาตรฐานหนึ่งรายการสามารถซ่อนจุดอ่อนของระบบในวงกว้างได้
- ต้นทุนโครงสร้างพื้นฐานและการบำรุงรักษามักถูกประเมินต่ำไป
- ช่องว่างด้านความปลอดภัยและความสามารถในการสังเกตสามารถเพิ่มขึ้นได้เมื่อระบบมีความซับซ้อนมากขึ้น
ขั้นตอนต่อไป
- กำหนดเป้าหมายเวลาแฝง คุณภาพ และต้นทุนก่อนนำไปใช้งาน
- เกณฑ์มาตรฐานภายใต้สภาวะโหลดและข้อมูลจริง
- การตรวจสอบเครื่องมือเพื่อหาข้อผิดพลาด การเบี่ยงเบน และผลกระทบต่อผู้ใช้
- เตรียมเส้นทางการย้อนกลับและการตอบสนองต่อเหตุการณ์ก่อนปรับขนาด
สำรวจต่อไป
จดหมายข่าวฟรี
รับสรุป AI รายวัน
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
Take the Positional Interpolation for Long Context quiz
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
คำถามที่พบบ่อย
What is Positional Interpolation for Long Context?
การแก้ไขตำแหน่ง (PI) เป็นเทคนิคง่ายๆ ที่มีอิทธิพลซึ่งจะขยายหน้าต่างบริบทของ Transformer โดยการบีบดัชนีตำแหน่งใหม่ให้อยู่ในช่วงที่โมเดลทราบอยู่แล้ว แทนที่จะคาดการณ์ไปยังตำแหน่งที่มองไม่เห็น มันจะสอดแทรกภายในตำแหน่งที่ได้รับการฝึก โดยต้องการการปรับแต่งแบบละเอียดเพียงช่วงสั้นๆ เท่านั้น
แนวคิดหลักเบื้องหลังการแก้ไขตำแหน่งคืออะไร
PI แบ่งดัชนีตำแหน่งด้วยสเกลแฟกเตอร์ ดังนั้นลำดับที่ยาวขึ้นจะแมปกลับไปสู่ช่วงตำแหน่งที่ได้รับการฝึก โดยรักษาการหมุนเวียนในการกระจาย
เหตุใดการคาดการณ์แบบไร้เดียงสาไปยังตำแหน่งที่ยาวกว่าจึงล้มเหลว
เอกสาร PI แสดงให้เห็นว่าตำแหน่งขนาดใหญ่ที่มองไม่เห็นสามารถสร้างลำดับความสำคัญของคะแนนความสนใจที่ใหญ่กว่าการฝึก ซึ่งทำให้ softmax ไม่เสถียร
PI ดั้งเดิมต้องมีการปรับแต่งอย่างละเอียดมากน้อยเพียงใดเพื่อขยาย LLaMA เป็น 32K
เอกสารรายงานว่าขั้นตอนการปรับแต่งประมาณ 1,000 ขั้นตอนก็เพียงพอที่จะขยายบริบทได้มากถึง 32,000 โทเค็น
หากคุณขยายบริบทด้วยปัจจัย s แล้ว PI จะแปลงตำแหน่ง m อย่างไร
PI จะปรับขนาดตำแหน่งจาก m เป็น m/s โดยบีบอัดช่วงที่ใหญ่ขึ้นใหม่ให้เหลือช่วงที่ฝึกดั้งเดิม
PI มีอิทธิพลต่อวิธีการในภายหลังเช่น YaRN อย่างไร
PI กำหนดการแก้ไขเป็นแนวทางที่ปลอดภัย การปรับขนาดที่รับรู้ NTK และ YaRN ปรับปรุงโดยการแก้ไขความถี่โดยเลือกสรรมากขึ้น
เรียนรู้ต่อไป
คำแนะนำที่เกี่ยวข้อง
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้