Gids-gekoppelde quiz · Moeilijk Niveau

Continue batchquiz

Pas LLM-batchverwerking op iteratieniveau, capaciteitslimieten en afwegingen voor vooraf invullen toe, inclusief waarom het continu toelaten van verzoeken geen garantie is dat er geen wachttijden zijn.

Gerelateerde gidspadenContinu batchen
Vraag 1 van 8

Wat is de belangrijkste zwakte van statische (vaste) batchverwerking voor LLM-service?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Wat is de belangrijkste zwakte van statische (vaste) batchverwerking voor LLM-service?
    • Het kan alleen op CPU's draaien
    • Hiervoor moeten eerst alle gegevens worden gelabeld
    • Korte verzoeken eindigen eerder, maar hun slots zijn inactief terwijl de batch op de langste wacht
    • Het maakt het model minder nauwkeurig
  2. Met welke granulariteit worden door continue batching verzoeken toegevoegd en verwijderd?
    • Eén keer per dag
    • Per decoderingsstap (één token tegelijk)
    • Alleen op volledige aanvraag
    • Per trainingstijdperk
  3. A continuous-batching request finishes and frees capacity. What can the scheduler do next?
    • Restart every remaining request from its first token
    • Guarantee every queued request runs immediately
    • Discard the finished answer without returning it
    • Admit eligible queued work if its resource budgets allow
  4. Welke techniek past op natuurlijke wijze bij continu batchen om het invoegen/verwijderen van sequenties goedkoop te maken?
    • De op blokken gebaseerde KV-cache van PagedAttention
    • FP32 dubbele precisie
    • Schijf wisselen
    • Handmatige gegevenslabeling
  5. Welk onderzoeksartikel wordt gewoonlijk gecrediteerd voor het populariseren van (continue) batching op iteratieniveau?
    • Het originele Transformer-papier
    • Het Orka-papier
    • Een databasepapier uit de jaren 80
    • Het ImageNet-papier
  6. What utilization problem can continuous batching reduce compared with a fixed request batch?
    • Every model accuracy error
    • The need to store any KV cache
    • All queueing at any traffic rate
    • Waiting for the longest request before admitting new eligible work
  7. A continuous-batching server has reached its memory budget. Must a newly arrived request enter the next iteration?
    • No; admission can wait until suitable capacity is available
    • Yes; the name guarantees unlimited request admission
    • Yes; the server removes all active outputs automatically
    • Only if the request has no punctuation
  8. A long prompt’s prefill delays tokens for already decoding requests. Which serving objective exposes that tradeoff?
    • Measure only the weight-file name
    • Assume more admitted prompts always improve every latency
    • Measure time between decode tokens alongside throughput
    • Count only the number of model layers