แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ

แบบทดสอบการผสมแบบต่อเนื่อง

ใช้การจัดชุด LLM ระดับการวนซ้ำ ขีดจำกัดความจุ และการแลกเปลี่ยนที่เติมล่วงหน้า รวมถึงสาเหตุที่การยอมรับคำขออย่างต่อเนื่องไม่ได้รับประกันว่าการรอคอยจะเป็นศูนย์

เส้นทางแนะนำที่เกี่ยวข้องการแบทช์อย่างต่อเนื่อง
คำถาม 1 ของ 8

จุดอ่อนหลักของการแบทช์แบบคงที่ (คงที่) สำหรับการให้บริการ LLM คืออะไร

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. จุดอ่อนหลักของการแบทช์แบบคงที่ (คงที่) สำหรับการให้บริการ LLM คืออะไร
    • สามารถทำงานบน CPU เท่านั้น
    • มันต้องมีการติดป้ายกำกับข้อมูลทั้งหมดก่อน
    • คำขอแบบสั้นจะเสร็จสิ้นก่อนกำหนด แต่สล็อตของคำขอเหล่านั้นไม่ได้ใช้งานในขณะที่แบทช์รอคำขอที่ยาวที่สุด
    • มันทำให้โมเดลมีความแม่นยำน้อยลง
  2. การแบทช์อย่างต่อเนื่องจะเพิ่มและลบคำขอได้ละเอียดเพียงใด
    • วันละครั้ง
    • ต่อขั้นตอนการถอดรหัส (ทีละโทเค็น)
    • ตามคำขอเต็มจำนวนเท่านั้น
    • ต่อยุคการฝึกอบรม
  3. A continuous-batching request finishes and frees capacity. What can the scheduler do next?
    • Restart every remaining request from its first token
    • Guarantee every queued request runs immediately
    • Discard the finished answer without returning it
    • Admit eligible queued work if its resource budgets allow
  4. เทคนิคใดที่จับคู่กับการแบทช์ต่อเนื่องอย่างเป็นธรรมชาติเพื่อทำให้การแทรก/การลบลำดับมีราคาถูก
    • แคช KV แบบบล็อกของ PagedAttention
    • FP32 ความแม่นยำสองเท่า
    • การสลับดิสก์
    • การติดฉลากข้อมูลด้วยตนเอง
  5. บทความวิจัยใดที่มักให้เครดิตในการส่งเสริมการแบทช์ระดับการวนซ้ำ (ต่อเนื่อง) ให้แพร่หลาย
    • กระดาษทรานส์ฟอร์มเมอร์ต้นฉบับ
    • กระดาษออร์กา
    • กระดาษฐานข้อมูลปี 1980
    • กระดาษ ImageNet
  6. What utilization problem can continuous batching reduce compared with a fixed request batch?
    • Every model accuracy error
    • The need to store any KV cache
    • All queueing at any traffic rate
    • Waiting for the longest request before admitting new eligible work
  7. A continuous-batching server has reached its memory budget. Must a newly arrived request enter the next iteration?
    • No; admission can wait until suitable capacity is available
    • Yes; the name guarantees unlimited request admission
    • Yes; the server removes all active outputs automatically
    • Only if the request has no punctuation
  8. A long prompt’s prefill delays tokens for already decoding requests. Which serving objective exposes that tradeoff?
    • Measure only the weight-file name
    • Assume more admitted prompts always improve every latency
    • Measure time between decode tokens alongside throughput
    • Count only the number of model layers