VolgendeVolgende gids
Cloudkostenoptimalisatie voor ML-workloads
Technisch
Technische GIDS
De totale eigendomskosten (TCO) van een zelfgehoste LLM zijn alles wat het kost om een open-weight-model op eigen of gehuurde hardware te draaien.
Luister naar deze gidsAI-verteld · ~3 min
Dat omvat GPU's, stroom, netwerken, software, technisch personeel, inactieve capaciteit en upgrades, niet alleen de prijs van de GPU's. Als je dat totaal vergelijkt met API-prijzen per token, kun je zien of zelfhosting daadwerkelijk geld bespaart. Het antwoord hangt meestal af van het feit dat de hardware het grootste deel van de tijd bezig is.
Zelfhosting betekent dat u een open-weight-model downloadt, zoals een Llama-, Mistral-, Qwen- of Gemma-variant, en dit aanbiedt op de infrastructuur die u beheert. Dat kunnen servers zijn die u bezit of GPU's die u in de cloud huurt. De gewichten kunnen gratis worden gedownload, maar het uitvoeren ervan niet. De totale eigendomskosten bestaan uit verschillende lagen: - **Hardware.** Gekochte GPU's worden over een paar jaar afgeschreven. Gehuurde GPU's worden per uur gefactureerd, ongeacht of ze bezet of inactief zijn. Eigen hardware heeft ook stroom, koeling, rackruimte en netwerken nodig. - **Software en bewerkingen.** U hebt een inferentieserver nodig, zoals vLLM, SGLang of NVIDIA TensorRT-LLM. Je hebt ook taakverdeling, monitoring, logboekregistratie, beveiliging en redundantie nodig, zodat één defect knooppunt de service niet offline haalt. - **Personeel.** Dit is vaak de grootste verborgen kostenpost: engineers die de stack implementeren, tunen, patchen en upgraden, plus iemand op afroep. - **Upgrades.** Er komen vaak nieuwe modellen aan. Elke migratie betekent het opnieuw evalueren, opnieuw afstemmen en soms kopen van nieuwe hardware. Het gebruik bepaalt de uitkomst. Een API brengt alleen kosten in rekening voor de tokens die u gebruikt. Een zelf-gehoste GPU kost hetzelfde, of deze nu één of duizenden verzoeken verwerkt. De effectieve kosten per token zijn de totale maandelijkse kosten gedeeld door de daadwerkelijk geleverde tokens. Een weinig gebruikt cluster kan veel meer per token kosten dan een API, terwijl een stabiel geladen cluster veel minder kan kosten. Drie misvattingen komen vaak voor. De eerste is dat de GPU-huurprijs maal uren gelijk is aan de kosten, waarbij personeel en inactieve tijd buiten beschouwing worden gelaten. De tweede is dat open gewichten gratis betekenen. De derde is dat zelfhosting automatisch meer privé is. Een slecht beveiligde server kan riskanter zijn dan een provider met gecontroleerde controles. Er zijn goede redenen om zelf te hosten: - controle over uw data - voorspelbare kosten bij een hoog, stabiel volume - maatwerk door middel van fine-tuning - vrijheid van een provider die een model wijzigt of buiten gebruik stelt
Een bedrijf huurt GPU's voor een model met 70 miljard parameters voor een interne assistent. Verkeer komt alleen tijdens kantooruren, dus de GPU's staan de meeste nachten inactief en elk token kost uiteindelijk meer dan de API die het vervangt.
Een bank wiens interne beleid vereist dat gevoelige gegevens op de infrastructuur blijven die zij beheert, host zelf een middelgroot open model in haar eigen datacenter. Zij aanvaardt hogere kosten in ruil voor die controle.
Een pijplijn voor documentclassificatie die de klok rond draait, bedient een klein gekwantiseerd model op een enkele GPU met continue batching. De kosten per token liggen ruim onder de API-tarieven.
Een startup budgetteert alleen voor cloud-GPU-verhuur. Later komt het bedrijf erachter dat het een technicus op afroep nodig heeft om servicestoringen, monitoring, beveiligingspatches en modelupgrades af te handelen, en dat de personeelskosten hoger zijn dan de hardwarerekening.
De zelfhostingberekening blijft in beide richtingen bewegen. Open-weight-modellen zijn capabeler geworden, en kwantisering en efficiënte bedieningssoftware zorgen ervoor dat kleinere hardware nuttige werklasten kan verwerken. Tegelijkertijd zijn de API-prijzen gedaald en hosten beheerde services steeds vaker open modellen tegen een vergoeding per token, waardoor een groot deel van de operationele lasten wordt weggenomen. Voor veel organisaties is het waarschijnlijke patroon hybride: API's voor piek- of frontier-workloads, en self-hosting voor stabiele, grote of gevoelige workloads. Beschouw de beslissing als iets dat u regelmatig moet herzien, en niet als een eenmalige keuze. Hardwaregeneraties, modelreleases en prijzen veranderen allemaal binnen een typische afschrijvingsperiode.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
De totale eigendomskosten (TCO) van een zelfgehoste LLM zijn alles wat het kost om een open-weight-model op eigen of gehuurde hardware te draaien. Dat omvat GPU's, stroom, netwerken, software, technisch personeel, inactieve capaciteit en upgrades, niet alleen de prijs van de GPU's. Als je dat totaal vergelijkt met API-prijzen per token, kun je zien of zelfhosting daadwerkelijk geld bespaart. Het antwoord hangt meestal af van het feit dat de hardware het grootste deel van de tijd bezig is.
Bij 16 bits (2 bytes) per parameter is 70 miljard x 2 bytes ongeveer 140 GB. Dat is meer dan een enkele GPU van 80 GB, voordat er enig KV-cachegeheugen wordt toegevoegd.
Als u alle maandelijkse kosten, inclusief personeel en inactieve capaciteit, deelt door de daadwerkelijk geleverde tokens, krijgt u een cijfer dat u rechtstreeks kunt vergelijken met de API-prijzen per token.
Een API factureert alleen voor gebruik, maar zelfgehoste hardware en personeel kosten hetzelfde, ongeacht de belasting. Een laag gebruik spreidt deze vaste kosten over minder tokens.
Budgetten tellen vaak alleen hardware. Het runnen van een betrouwbare inferentieservice kost engineeringtijd, en die arbeid kan hoger zijn dan de GPU-rekening.
De KV-cache slaat attentiesleutels en waarden op voor actieve verzoeken. Langere contexten en meer gelijktijdige gebruikers hebben er meer van nodig.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
Cloudkostenoptimalisatie voor ML-workloads
Technisch