Útmutatóhoz kapcsolódó kvíz · Kemény Szint

A saját üzemeltetésű LLM-k kvíz teljes tulajdonlási költsége

Tesztelje, hogy mi okozza az önkiszolgáló LLM-ek valódi költségeit: a GPU-memória számítása, a kihasználtság, a személyzet és a fedezet a tokenenkénti API-árakkal szemben.

kérdés 1 -ból 8

Körülbelül mennyi memória kell egy 70 milliárd paraméteres modell súlyához 16 bites pontossággal?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Körülbelül mennyi memória kell egy 70 milliárd paraméteres modell súlyához 16 bites pontossággal?
    • About 140 GB
    • About 35 GB
    • About 70 GB
    • About 560 GB
  2. Hogyan határozza meg az útmutató a saját üzemeltetésű telepítés jogkivonatonkénti tényleges költségét?
    • GPU hourly rental price divided by the model's parameter count
    • The API provider's list price minus a fixed discount
    • Total monthly cost divided by tokens actually served
    • Hardware purchase price divided by the number of users
  3. Miért kerülhet többe egy kevéssé használt saját üzemeltetésű fürt tokenenként, mint egy API?
    • Self-hosted models produce longer answers
    • GPUs cost the same whether they are idle or busy, so fewer tokens share the fixed cost
    • Open-weight licenses charge a fee per token
    • APIs are subsidized by governments
  4. Melyik költséget azonosítja az útmutató gyakran a legnagyobb rejtett vonalként az öntárhely szolgáltatásban?
    • Model download fees
    • Tokenizer licenses
    • Electricity for laptops
    • Staff who deploy, tune, patch, upgrade and stay on call for the stack
  5. A modell súlyain kívül mi használ GPU memóriát, és mi növekszik a kontextus hosszával és az egyidejű kérések számával?
    • A tokenizáló szókincs
    • The load balancer
    • The KV cache
    • The model license file
  6. Why is it a misconception that self-hosting is automatically more private?
    • A poorly secured self-hosted server can be riskier than a provider with audited controls
    • Open-weight models send data back to their creators
    • APIs never store any data
    • Privacy laws ban self-hosting
  7. What is the purpose of continuous batching in servers such as vLLM?
    • To compress model weights to 4 bits
    • To translate prompts into other languages
    • To download new model versions automatically
    • To keep GPUs busy by processing many requests together
  8. What does the guide describe as the likely pattern for many organizations?
    • Moving every workload to self-hosting
    • Hybrid: APIs for spiky or frontier workloads, self-hosting for steady, high-volume or sensitive ones
    • Using only APIs forever
    • Choosing once and never revisiting the decision