Gids-gekoppelde quiz · Moeilijk Niveau

Totale eigendomskosten voor zelfgehoste LLM-quiz

Test wat de werkelijke kosten van zelfhostende LLM's drijft: GPU-geheugenberekening, gebruik, personeelsbezetting en break-even tegen API-prijzen per token.

Vraag 1 van 8

Hoeveel geheugen hebben de gewichten van een model met 70 miljard parameters ongeveer nodig bij een nauwkeurigheid van 16 bits?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Hoeveel geheugen hebben de gewichten van een model met 70 miljard parameters ongeveer nodig bij een nauwkeurigheid van 16 bits?
    • About 140 GB
    • About 35 GB
    • About 70 GB
    • About 560 GB
  2. Hoe definieert de handleiding de effectieve kosten per token van een zelf-hostende implementatie?
    • GPU hourly rental price divided by the model's parameter count
    • The API provider's list price minus a fixed discount
    • Total monthly cost divided by tokens actually served
    • Hardware purchase price divided by the number of users
  3. Waarom kan een weinig gebruikt, zelf-gehost cluster per token meer kosten dan een API?
    • Self-hosted models produce longer answers
    • GPUs cost the same whether they are idle or busy, so fewer tokens share the fixed cost
    • Open-weight licenses charge a fee per token
    • APIs are subsidized by governments
  4. Welke kosten identificeert de gids als vaak de grootste verborgen regel in zelfhosting?
    • Model download fees
    • Tokenizer licenses
    • Electricity for laptops
    • Staff who deploy, tune, patch, upgrade and stay on call for the stack
  5. Wat gebruikt, afgezien van de modelgewichten, GPU-geheugen en groeit met de contextlengte en het aantal gelijktijdige verzoeken?
    • De tokenizer-vocabulaire
    • The load balancer
    • The KV cache
    • The model license file
  6. Why is it a misconception that self-hosting is automatically more private?
    • A poorly secured self-hosted server can be riskier than a provider with audited controls
    • Open-weight models send data back to their creators
    • APIs never store any data
    • Privacy laws ban self-hosting
  7. What is the purpose of continuous batching in servers such as vLLM?
    • To compress model weights to 4 bits
    • To translate prompts into other languages
    • To download new model versions automatically
    • To keep GPUs busy by processing many requests together
  8. What does the guide describe as the likely pattern for many organizations?
    • Moving every workload to self-hosting
    • Hybrid: APIs for spiky or frontier workloads, self-hosting for steady, high-volume or sensitive ones
    • Using only APIs forever
    • Choosing once and never revisiting the decision