Technische GIDS

Totale eigendomskosten voor zelfgehoste LLM's

De totale eigendomskosten (TCO) van een zelfgehoste LLM zijn alles wat het kost om een open-weight-model op eigen of gehuurde hardware te draaien.

Luister naar deze gidsAI-verteld · ~3 min

Op deze pagina4 minuten lezen
  1. Overzicht
  2. Diepe duik
  3. Implementatie in de echte wereld
  4. De toekomst van de totale eigendomskosten voor zelfgehoste LLM's
  5. Het in de praktijk brengen
  6. Blijf verkennen
  7. Veelgestelde vragen

Overzicht

Dat omvat GPU's, stroom, netwerken, software, technisch personeel, inactieve capaciteit en upgrades, niet alleen de prijs van de GPU's. Als je dat totaal vergelijkt met API-prijzen per token, kun je zien of zelfhosting daadwerkelijk geld bespaart. Het antwoord hangt meestal af van het feit dat de hardware het grootste deel van de tijd bezig is.

Diepe duik

Zelfhosting betekent dat u een open-weight-model downloadt, zoals een Llama-, Mistral-, Qwen- of Gemma-variant, en dit aanbiedt op de infrastructuur die u beheert. Dat kunnen servers zijn die u bezit of GPU's die u in de cloud huurt. De gewichten kunnen gratis worden gedownload, maar het uitvoeren ervan niet. De totale eigendomskosten bestaan ​​uit verschillende lagen: - **Hardware.** Gekochte GPU's worden over een paar jaar afgeschreven. Gehuurde GPU's worden per uur gefactureerd, ongeacht of ze bezet of inactief zijn. Eigen hardware heeft ook stroom, koeling, rackruimte en netwerken nodig. - **Software en bewerkingen.** U hebt een inferentieserver nodig, zoals vLLM, SGLang of NVIDIA TensorRT-LLM. Je hebt ook taakverdeling, monitoring, logboekregistratie, beveiliging en redundantie nodig, zodat één defect knooppunt de service niet offline haalt. - **Personeel.** Dit is vaak de grootste verborgen kostenpost: engineers die de stack implementeren, tunen, patchen en upgraden, plus iemand op afroep. - **Upgrades.** Er komen vaak nieuwe modellen aan. Elke migratie betekent het opnieuw evalueren, opnieuw afstemmen en soms kopen van nieuwe hardware. Het gebruik bepaalt de uitkomst. Een API brengt alleen kosten in rekening voor de tokens die u gebruikt. Een zelf-gehoste GPU kost hetzelfde, of deze nu één of duizenden verzoeken verwerkt. De effectieve kosten per token zijn de totale maandelijkse kosten gedeeld door de daadwerkelijk geleverde tokens. Een weinig gebruikt cluster kan veel meer per token kosten dan een API, terwijl een stabiel geladen cluster veel minder kan kosten. Drie misvattingen komen vaak voor. De eerste is dat de GPU-huurprijs maal uren gelijk is aan de kosten, waarbij personeel en inactieve tijd buiten beschouwing worden gelaten. De tweede is dat open gewichten gratis betekenen. De derde is dat zelfhosting automatisch meer privé is. Een slecht beveiligde server kan riskanter zijn dan een provider met gecontroleerde controles. Er zijn goede redenen om zelf te hosten: - controle over uw data - voorspelbare kosten bij een hoog, stabiel volume - maatwerk door middel van fine-tuning - vrijheid van een provider die een model wijzigt of buiten gebruik stelt

Implementatie in de echte wereld

Een bedrijf huurt GPU's voor een model met 70 miljard parameters voor een interne assistent. Verkeer komt alleen tijdens kantooruren, dus de GPU's staan ​​de meeste nachten inactief en elk token kost uiteindelijk meer dan de API die het vervangt.

Een bank wiens interne beleid vereist dat gevoelige gegevens op de infrastructuur blijven die zij beheert, host zelf een middelgroot open model in haar eigen datacenter. Zij aanvaardt hogere kosten in ruil voor die controle.

Een pijplijn voor documentclassificatie die de klok rond draait, bedient een klein gekwantiseerd model op een enkele GPU met continue batching. De kosten per token liggen ruim onder de API-tarieven.

Een startup budgetteert alleen voor cloud-GPU-verhuur. Later komt het bedrijf erachter dat het een technicus op afroep nodig heeft om servicestoringen, monitoring, beveiligingspatches en modelupgrades af te handelen, en dat de personeelskosten hoger zijn dan de hardwarerekening.

De toekomst van de totale eigendomskosten voor zelfgehoste LLM's

De zelfhostingberekening blijft in beide richtingen bewegen. Open-weight-modellen zijn capabeler geworden, en kwantisering en efficiënte bedieningssoftware zorgen ervoor dat kleinere hardware nuttige werklasten kan verwerken. Tegelijkertijd zijn de API-prijzen gedaald en hosten beheerde services steeds vaker open modellen tegen een vergoeding per token, waardoor een groot deel van de operationele lasten wordt weggenomen. Voor veel organisaties is het waarschijnlijke patroon hybride: API's voor piek- of frontier-workloads, en self-hosting voor stabiele, grote of gevoelige workloads. Beschouw de beslissing als iets dat u regelmatig moet herzien, en niet als een eenmalige keuze. Hardwaregeneraties, modelreleases en prijzen veranderen allemaal binnen een typische afschrijvingsperiode.

Het in de praktijk brengen

Waarom het ertoe doet

  • Kosten en budget. Architectuurbeslissingen bepalen jarenlang de prestaties en bedrijfskosten.
  • Duidelijkere beslissingen. Technisch onderwijs helpt teams bij het kiezen van de juiste stapel, niet alleen de nieuwste.
  • Kwaliteitscontrole. Betere technische keuzes verminderen het aantal betrouwbaarheidsincidenten in de productie.

Pas op voor

  • Het optimaliseren van één benchmark kan bredere systeemzwakheden verbergen.
  • Infrastructuur- en onderhoudskosten worden vaak onderschat.
  • De lacunes op het gebied van beveiliging en waarneembaarheid kunnen groter worden naarmate systemen complexer worden.

Volgende stappen

  1. Definieer latentie-, kwaliteits- en kostendoelen vóór implementatie.
  2. Benchmark onder realistische belasting- en gegevensomstandigheden.
  3. Instrumentbewaking op fouten, drift en gebruikersimpact.
  4. Bereid rollback- en incidentresponspaden voor voordat u gaat schalen.

Blijf verkennen

Gratis nieuwsbrief

Ontvang de dagelijkse AI-briefing

Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.

Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.

Test jezelf

Doe de quiz over de totale eigendomskosten voor zelfgehoste LLM's

Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.

Quiz starten

Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie

Veelgestelde vragen

Wat zijn de totale eigendomskosten voor zelfgehoste LLM's?

De totale eigendomskosten (TCO) van een zelfgehoste LLM zijn alles wat het kost om een open-weight-model op eigen of gehuurde hardware te draaien. Dat omvat GPU's, stroom, netwerken, software, technisch personeel, inactieve capaciteit en upgrades, niet alleen de prijs van de GPU's. Als je dat totaal vergelijkt met API-prijzen per token, kun je zien of zelfhosting daadwerkelijk geld bespaart. Het antwoord hangt meestal af van het feit dat de hardware het grootste deel van de tijd bezig is.

Hoeveel geheugen hebben de gewichten van een model met 70 miljard parameters ongeveer nodig bij een nauwkeurigheid van 16 bits?

Bij 16 bits (2 bytes) per parameter is 70 miljard x 2 bytes ongeveer 140 GB. Dat is meer dan een enkele GPU van 80 GB, voordat er enig KV-cachegeheugen wordt toegevoegd.

Hoe definieert de handleiding de effectieve kosten per token van een zelf-hostende implementatie?

Als u alle maandelijkse kosten, inclusief personeel en inactieve capaciteit, deelt door de daadwerkelijk geleverde tokens, krijgt u een cijfer dat u rechtstreeks kunt vergelijken met de API-prijzen per token.

Waarom kan een weinig gebruikt, zelf-gehost cluster per token meer kosten dan een API?

Een API factureert alleen voor gebruik, maar zelfgehoste hardware en personeel kosten hetzelfde, ongeacht de belasting. Een laag gebruik spreidt deze vaste kosten over minder tokens.

Welke kosten identificeert de gids als vaak de grootste verborgen regel in zelfhosting?

Budgetten tellen vaak alleen hardware. Het runnen van een betrouwbare inferentieservice kost engineeringtijd, en die arbeid kan hoger zijn dan de GPU-rekening.

Wat gebruikt, afgezien van de modelgewichten, GPU-geheugen en groeit met de contextlengte en het aantal gelijktijdige verzoeken?

De KV-cache slaat attentiesleutels en waarden op voor actieve verzoeken. Langere contexten en meer gelijktijdige gebruikers hebben er meer van nodig.