คู่มือทางเทคนิค
การถอดรหัสเก็งกำไรด้วย EAGLE
การถอดรหัสแบบเก็งกำไรจะเร่งความเร็วในการอนุมานโมเดลภาษาขนาดใหญ่โดยปล่อยให้โมเดลร่างขนาดเล็กเดาโทเค็นหลายอันข้างหน้า ซึ่งโมเดลขนาดใหญ่จะตรวจสอบในการส่งผ่านครั้งเดียว
ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min
บนหน้านี้อ่าน 2 นาที
ภาพรวม
EAGLE เป็นเวอร์ชันล้ำสมัยที่ร่างที่ระดับฟีเจอร์มากกว่าระดับโทเค็น โดยให้ความเร็วเพิ่มขึ้น 2-4 เท่าโดยไม่สูญเสียคุณภาพเอาต์พุตเป็นศูนย์
เจาะลึก
การสร้าง LLM ปกติเป็นแบบถดถอยอัตโนมัติ โดยโมเดลจะสร้างโทเค็นหนึ่งรายการ ป้อนกลับ และทำซ้ำ ดังนั้นแต่ละโทเค็นจึงต้องมีการส่งต่อแบบเต็มผ่านพารามิเตอร์นับพันล้านรายการ การถอดรหัสแบบเก็งกำไรช่วยขจัดปัญหาคอขวดนี้ ผู้ร่างราคาถูกเสนอโทเค็นผู้สมัครจำนวนหนึ่ง และโมเดลเป้าหมายราคาแพงจะตรวจสอบทั้งหมดในการส่งแบบคู่ขนานครั้งเดียว โดยยอมรับคำนำหน้าที่ถูกต้องที่ยาวที่สุด EAGLE (อัลกอริธึมการคาดการณ์สำหรับประสิทธิภาพของโมเดลภาษาที่มากขึ้น) ปรับปรุงวิธีการก่อนหน้านี้โดยการร่างในพื้นที่ฟีเจอร์ที่ซ่อนอยู่ของโมเดล และป้อนกลับการฝังที่แท้จริงของโทเค็นก่อนหน้าเพื่อลดความไม่แน่นอน EAGLE-2 เพิ่มแผนผังร่างแบบไดนามิก และ EAGLE-3 จะลดข้อจำกัดการคาดการณ์คุณลักษณะเพื่อขยายขนาดให้ดีขึ้น สิ่งสำคัญที่สุดคือ การตรวจสอบรับประกันว่าเอาต์พุตจะเหมือนกับที่โมเดลเป้าหมายจะผลิตเพียงอย่างเดียว
การใช้งานจริงในโลกแห่งความเป็นจริง
ลดเวลาในการตอบสนองในตัวช่วยแชท เพื่อให้การตอบกลับสตรีมเร็วขึ้น 2-3 เท่า โดยไม่ต้องเปลี่ยนคำตอบของโมเดล
ลดต้นทุนการให้บริการ GPU สำหรับผู้ให้บริการ API จำนวนมากโดยการสร้างโทเค็นมากขึ้นต่อการส่งต่อ
เร่งโมเดลการให้เหตุผลแบบลูกโซ่ทางความคิดแบบยาวซึ่งมีการสร้างโทเค็นนับพันรายการต่อการสืบค้น
เร่งเครื่องมือในการเติมโค้ดให้สมบูรณ์ โดยที่ลำดับโทเค็นที่ทำซ้ำและคาดการณ์ได้จะให้อัตราการยอมรับแบบร่างสูง
อนาคตของการถอดรหัสเชิงเก็งกำไรด้วย EAGLE
การถอดรหัสแบบเก็งกำไรกำลังกลายเป็นโครงสร้างพื้นฐานเริ่มต้นในการให้บริการสแต็ก เช่น vLLM และ TensorRT-LLM คาดหวังการผสานรวมที่เข้มงวดยิ่งขึ้นกับการแบ่งแบทช์และการแชร์แคช KV โมเดลการร่างด้วยตนเองที่ไม่ต้องใช้ตัวร่างแยกต่างหาก และการออกแบบร่วมฮาร์ดแวร์ที่ต้องใช้การตรวจสอบแบบขนาน การร่างฟีเจอร์สไตล์ EAGLE กำลังขยายไปสู่โมเดลหลายรูปแบบและการให้เหตุผล ซึ่งการคิดแบบโซ่ยาวทำให้เกิดต้นทุนต่อโทเค็นที่เจ็บปวดเป็นพิเศษ และการอนุมานบนอุปกรณ์ที่เวลาแฝงมีความสำคัญมากที่สุด
การนำไปปฏิบัติ
ทำไมมันถึงสำคัญ
- ต้นทุนและงบประมาณ. การตัดสินใจด้านสถาปัตยกรรมขับเคลื่อนประสิทธิภาพและต้นทุนการดำเนินงานเป็นเวลาหลายปี
- การตัดสินใจที่ชัดเจนยิ่งขึ้น. การศึกษาด้านเทคนิคช่วยให้ทีมเลือกกลุ่มที่เหมาะสม ไม่ใช่แค่กลุ่มใหม่ล่าสุด
- การควบคุมคุณภาพ. ตัวเลือกทางวิศวกรรมที่ดีกว่าจะช่วยลดเหตุการณ์ด้านความน่าเชื่อถือในการผลิต
ระวัง
- การเพิ่มประสิทธิภาพเกณฑ์มาตรฐานหนึ่งรายการสามารถซ่อนจุดอ่อนของระบบในวงกว้างได้
- ต้นทุนโครงสร้างพื้นฐานและการบำรุงรักษามักถูกประเมินต่ำไป
- ช่องว่างด้านความปลอดภัยและความสามารถในการสังเกตสามารถเพิ่มขึ้นได้เมื่อระบบมีความซับซ้อนมากขึ้น
ขั้นตอนต่อไป
- กำหนดเป้าหมายเวลาแฝง คุณภาพ และต้นทุนก่อนนำไปใช้งาน
- เกณฑ์มาตรฐานภายใต้สภาวะโหลดและข้อมูลจริง
- การตรวจสอบเครื่องมือเพื่อหาข้อผิดพลาด การเบี่ยงเบน และผลกระทบต่อผู้ใช้
- เตรียมเส้นทางการย้อนกลับและการตอบสนองต่อเหตุการณ์ก่อนปรับขนาด
สำรวจต่อไป
จดหมายข่าวฟรี
รับสรุป AI รายวัน
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
Take the Speculative Decoding with EAGLE quiz
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
คำถามที่พบบ่อย
การถอดรหัสเก็งกำไรด้วย EAGLE คืออะไร
การถอดรหัสแบบเก็งกำไรจะเร่งความเร็วในการอนุมานโมเดลภาษาขนาดใหญ่โดยปล่อยให้โมเดลร่างขนาดเล็กเดาโทเค็นหลายอันข้างหน้า ซึ่งโมเดลขนาดใหญ่จะตรวจสอบในการส่งผ่านครั้งเดียว EAGLE เป็นเวอร์ชันล้ำสมัยที่ร่างในระดับคุณสมบัติมากกว่าระดับโทเค็น โดยให้ความเร็วเพิ่มขึ้น 2-4 เท่าโดยไม่มีการสูญเสียคุณภาพเอาต์พุต
แนวคิดหลักเบื้องหลังการถอดรหัสแบบเก็งกำไรคืออะไร
ผู้ร่างขนาดเล็กคาดเดาโทเค็นหลายอันข้างหน้า และโมเดลเป้าหมายขนาดใหญ่จะตรวจสอบร่วมกัน โดยยอมรับคำนำหน้าที่ถูกต้องที่ยาวที่สุด
EAGLE แตกต่างจากวิธีการถอดรหัสแบบเก็งกำไรรุ่นก่อนๆ อย่างไร
EAGLE คาดการณ์คุณลักษณะที่ซ่อนอยู่ของโมเดลเป้าหมาย และใช้ส่วนหัว LM ของมันซ้ำ ซึ่งสร้างแบบร่างที่แม่นยำมากกว่าวิธีโทเค็นอย่างเดียว
Why is speculative decoding considered lossless when implemented with exact verification?
Exact speculative sampling preserves the target distribution; this does not mean every random run must emit the same token sequence under different random draws.
ปัญหาใดในการร่างฟีเจอร์ของ EAGLE ที่ป้อนกลับการฝังโทเค็นก่อนหน้าช่วยแก้ปัญหา
การปรับสภาพโทเค็นก่อนหน้าตามจริงจะช่วยลดความคลุมเครือในการทำนายคุณลักษณะที่ซ่อนอยู่ถัดไป ปรับปรุงความแม่นยำของร่าง
EAGLE-2 เพิ่มอะไรจาก EAGLE ดั้งเดิม
EAGLE-2 นำเสนอแผนผังร่างแบบไดนามิกที่คำนึงถึงบริบท ซึ่งขยายสาขาที่มีแนวโน้มดีเพื่อเพิ่มอัตราการยอมรับ
เรียนรู้ต่อไป
คำแนะนำที่เกี่ยวข้อง
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้