Maswali yanayounganishwa na mwongozo · Kati Kiwango

Maswali ya Kuelekeza na Kusawazisha Mizigo ya LLM

Hukagua nakala na uelekezaji wa muundo, uhusiano wa akiba, telemetry ya moja kwa moja, gharama ya tokeni inayobadilika na kipato kinachotambua muda wa kusubiri kwa makisio ya LLM.

Njia za mwongozo zinazohusianaUelekezaji wa Makisio ya LLM na Kusawazisha Mzigo
Swali 1 ya 8

Kwa nini kawaida-robin mara nyingi ni mkakati mbaya wa kusawazisha mzigo kwa uelekezaji wa LLM?

Hakiki kila swali8 maswali

Majibu na maelezo huonekana unapojibu maswali.

  1. Kwa nini kawaida-robin mara nyingi ni mkakati mbaya wa kusawazisha mzigo kwa uelekezaji wa LLM?
    • Maombi hutofautiana sana kwa gharama na nakala hushikilia akiba za KV zinazonata
    • Ni kinyume cha sheria katika nchi nyingi
    • Round-robin hufanya kazi kwa hifadhidata pekee
    • Inahitaji GPU kuendesha
  2. Uelekezaji wa 'kiambishi awali-kache' unajaribu kufikia nini?
    • Inatuma kila ombi kwa GPU nasibu
    • Kuelekeza ombi kwa nakala ambayo tayari imehifadhi kiambishi awali cha papo hapo
    • Inasimba kidokezo kabla ya kutuma
    • Kukandamiza uzani wa mfano
  3. Katika uelekezaji wa mfano wa ugumu, ni nini kawaida hufanyika kwa swali rahisi?
    • Inakataliwa
    • Inatumwa kwa mfano mkubwa zaidi unaopatikana
    • Inatumwa kwa mfano mdogo, wa bei nafuu
    • Imewekwa kwenye foleni kwa masaa 24
  4. Ni mawimbi gani ya moja kwa moja yanafaa zaidi kwa kisawazisha cha mizigo kinachofahamu LLM?
    • Urefu wa jina la seva
    • Rangi ya rack
    • Saa za eneo la mtumiaji pekee
    • Kina cha foleni na kache ya KV ya kila nakala
  5. Chombo kama LiteLLM hutoa nini katika usanidi wa watoa huduma wengi?
    • Seva mbadala moja inayosawazisha na kutofaulu kwa watoa huduma wengi wa mfano
    • Usanifu mpya wa transfoma
    • Mfumo wa kupoeza wa GPU
    • Badala ya tokenizer
  6. Kwa nini ombi moja la pato la muda mrefu linaweza kupita nyingi fupi za kusawazisha?
    • Matokeo ya muda mrefu hayatumii rasilimali
    • Kila tokeni inagharimu pasi kamili ya mbele, kwa hivyo jumla ya mzigo wa tokeni ni muhimu zaidi ya hesabu ya ombi
    • Maombi mafupi huwa ya polepole kila wakati
    • Kipanga njia hakiwezi kuona urefu wa pato hata kidogo
  7. A serving system reports goodput rather than raw request count. What does goodput usually emphasize?
    • Jumla ya idadi ya vigezo vya mfano
    • Only the number of HTTP connections opened
    • Requests served while meeting the specified latency or service-level targets
    • The fraction of requests that use the largest model
  8. A gateway first chooses a small or large model, then chooses a replica of that model. What are these two decisions?
    • Tokenization followed by decoding
    • Training followed by fine-tuning
    • Prefill followed by prompt construction
    • Model routing followed by replica load balancing