ต่อไปคำแนะนำต่อไป
การลงโทษการทำซ้ำและการถอดรหัสการควบคุม
ภาษาเอไอ
คู่มือ AI ภาษา
เมดูซ่าเป็นวิธีการถอดรหัสแบบเก็งกำไรที่นำ 'หัว' การทำนายพิเศษหลายรายการมาใช้กับโมเดลภาษา เพื่อให้สามารถเดาโทเค็นในอนาคตได้หลายรายการพร้อมกัน
ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min
ด้วยการตรวจสอบการเดาเหล่านี้ในการส่งต่อเพียงครั้งเดียว จะช่วยเร่งความเร็วในการสร้างข้อความประมาณ 2-3 เท่า โดยไม่ต้องเปลี่ยนการกระจายเอาต์พุตของโมเดล
Normal language models generate one token per forward pass, which is slow because each step must wait for the previous one. Medusa adds lightweight feed-forward heads on top of the frozen base model; each head predicts a token a few positions ahead (head 1 predicts the next token, head 2 the token after, and so on). These predictions form a tree of candidate continuations. The full model then verifies the whole tree in one pass using a 'tree attention' mask, accepting the longest prefix that matches what the model would have produced anyway. For Medusa-1, the backbone stays frozen and original-model rejection sampling can preserve the base model's output distribution, enabling lossless inference acceleration. Medusa-2 jointly trains the heads and backbone with a special recipe that preserves the backbone's next-token capability while improving head prediction. The paper also studies typical acceptance, which can increase acceptance and maintain similar generation quality but does not make the same exact distribution-matching guarantee.
ลดเวลาในการตอบสนองของแชทบอทโดยการยอมรับโทเค็นที่ตรวจสอบแล้วหลายรายการต่อการส่งต่อ
เร่งตัวช่วยในการเติมโค้ดให้สมบูรณ์ โดยที่ลำดับโทเค็นที่คาดการณ์ได้นั้นง่ายต่อการคาดเดา
ลดต้นทุนการอนุมานสำหรับ LLM API ที่มีการรับส่งข้อมูลสูงโดยไม่ต้องปรับใช้โมเดลร่างแยกต่างหาก
เร่งการสร้างข้อความรูปแบบยาว เช่น ข้อมูลสรุป ขณะเดียวกันก็รักษาเอาต์พุตให้เหมือนกับการถอดรหัสมาตรฐาน
การถอดรหัสแบบเก็งกำไรกำลังกลายเป็นมาตรฐานในสแต็กการอนุมานการผลิต และแนวทางที่มีอยู่ในตัวเอง เช่น Medusa ซึ่งไม่จำเป็นต้องมีโมเดลร่างแยกต่างหาก เป็นสิ่งที่น่าสนใจเนื่องจากปรับใช้ได้ง่ายกว่า งานในอนาคตผสมผสานหัวสไตล์ Medusa เข้ากับการคาดการณ์คุณสมบัติสไตล์ EAGLE การสร้างต้นไม้ที่ดีขึ้น และการตรวจสอบโดยคำนึงถึงฮาร์ดแวร์ คาดหวังการผสานรวมที่เข้มงวดมากขึ้นในเฟรมเวิร์กการให้บริการ การปรับแต่งรูปร่างต้นไม้ต่อปริมาณงานโดยอัตโนมัติ และการใช้งานร่วมกับการบีบอัด KV-cache เพื่อลดเวลาแฝงโดยไม่มี GPU เพิ่มเติมหรือการสูญเสียคุณภาพ
จดหมายข่าวฟรี
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
เมดูซ่าเป็นวิธีการถอดรหัสแบบเก็งกำไรที่นำ 'หัว' การทำนายพิเศษหลายรายการมาใช้กับโมเดลภาษา เพื่อให้สามารถเดาโทเค็นในอนาคตได้หลายรายการพร้อมกัน ด้วยการตรวจสอบการเดาเหล่านี้ในการส่งต่อเพียงครั้งเดียว จะช่วยเร่งความเร็วในการสร้างข้อความประมาณ 2-3 เท่า โดยไม่ต้องเปลี่ยนการกระจายเอาต์พุตของโมเดล
หัวเมดูซ่าแต่ละหัวทำนายโทเค็นหลายตำแหน่งในอนาคต จึงสามารถเสนอโทเค็นหลายรายการพร้อมกันได้
The Medusa paper identifies Medusa-1, which freezes the backbone, as enabling lossless acceleration; exact rejection sampling verifies accepted candidates against the base model distribution.
ผู้สมัครสร้างต้นไม้ และมาสก์การสนใจต้นไม้ช่วยให้โมเดลพื้นฐานตรวจสอบสาขาทั้งหมดในการส่งต่อครั้งเดียว
Medusa ติดหัวน้ำหนักเบาเข้ากับรุ่นที่มีอยู่ ดังนั้นจึงไม่จำเป็นต้องฝึกและให้บริการเครือข่ายร่างแยกต่างหาก
โดยทั่วไป Medusa จะสามารถลดเวลาแฝงในการสร้างลงได้ประมาณ 2-3 เท่า ขึ้นอยู่กับปริมาณงาน
เรียนรู้ต่อไป
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้
ต่อไปคำแนะนำต่อไป
การลงโทษการทำซ้ำและการถอดรหัสการควบคุม
ภาษาเอไอ