แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ
แบบทดสอบการผสมแบบต่อเนื่อง
ใช้การจัดชุด LLM ระดับการวนซ้ำ ขีดจำกัดความจุ และการแลกเปลี่ยนที่เติมล่วงหน้า รวมถึงสาเหตุที่การยอมรับคำขออย่างต่อเนื่องไม่ได้รับประกันว่าการรอคอยจะเป็นศูนย์
คำถาม 1 ของ 8
จุดอ่อนหลักของการแบทช์แบบคงที่ (คงที่) สำหรับการให้บริการ LLM คืออะไร
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- จุดอ่อนหลักของการแบทช์แบบคงที่ (คงที่) สำหรับการให้บริการ LLM คืออะไร
- สามารถทำงานบน CPU เท่านั้น
- มันต้องมีการติดป้ายกำกับข้อมูลทั้งหมดก่อน
- คำขอแบบสั้นจะเสร็จสิ้นก่อนกำหนด แต่สล็อตของคำขอเหล่านั้นไม่ได้ใช้งานในขณะที่แบทช์รอคำขอที่ยาวที่สุด
- มันทำให้โมเดลมีความแม่นยำน้อยลง
- การแบทช์อย่างต่อเนื่องจะเพิ่มและลบคำขอได้ละเอียดเพียงใด
- วันละครั้ง
- ต่อขั้นตอนการถอดรหัส (ทีละโทเค็น)
- ตามคำขอเต็มจำนวนเท่านั้น
- ต่อยุคการฝึกอบรม
- A continuous-batching request finishes and frees capacity. What can the scheduler do next?
- Restart every remaining request from its first token
- Guarantee every queued request runs immediately
- Discard the finished answer without returning it
- Admit eligible queued work if its resource budgets allow
- เทคนิคใดที่จับคู่กับการแบทช์ต่อเนื่องอย่างเป็นธรรมชาติเพื่อทำให้การแทรก/การลบลำดับมีราคาถูก
- แคช KV แบบบล็อกของ PagedAttention
- FP32 ความแม่นยำสองเท่า
- การสลับดิสก์
- การติดฉลากข้อมูลด้วยตนเอง
- บทความวิจัยใดที่มักให้เครดิตในการส่งเสริมการแบทช์ระดับการวนซ้ำ (ต่อเนื่อง) ให้แพร่หลาย
- กระดาษทรานส์ฟอร์มเมอร์ต้นฉบับ
- กระดาษออร์กา
- กระดาษฐานข้อมูลปี 1980
- กระดาษ ImageNet
- What utilization problem can continuous batching reduce compared with a fixed request batch?
- Every model accuracy error
- The need to store any KV cache
- All queueing at any traffic rate
- Waiting for the longest request before admitting new eligible work
- A continuous-batching server has reached its memory budget. Must a newly arrived request enter the next iteration?
- No; admission can wait until suitable capacity is available
- Yes; the name guarantees unlimited request admission
- Yes; the server removes all active outputs automatically
- Only if the request has no punctuation
- A long prompt’s prefill delays tokens for already decoding requests. Which serving objective exposes that tradeoff?
- Measure only the weight-file name
- Assume more admitted prompts always improve every latency
- Measure time between decode tokens alongside throughput
- Count only the number of model layers