VolgendeVolgende gids
Het schatten van LLM API-kosten en tokenbudgetten
Technisch
Technische GIDS
LLM API's rekenen per token, een stuk tekst dat ongeveer driekwart van een Engels woord beslaat.
Luister naar deze gidsAI-verteld · ~3 min
Invoertokens die u verzendt en uitvoertokens die het model genereert, hebben aparte tarieven, en de uitvoer kost meestal meerdere malen meer. Om de kosten te schatten, telt u de tokens met de tokenizer of het teleindpunt van de provider en vermenigvuldigt u elke zijde met het percentage per miljoen. Voeg verborgen tokens toe, zoals systeemprompts, gespreksgeschiedenis en redenering.
Modellen lezen karakters of woorden niet rechtstreeks. Een tokenizer splitst tekst op in tokens, dit zijn algemene tekenreeksen die zijn geleerd uit trainingsgegevens. Een gebruikelijke vuistregel voor het Engels is ongeveer vier tekens, oftewel driekwart woord, per token. Dat komt neer op 1.000 woorden op ongeveer 1.300 tot 1.400 tokens. Code, cijfers, ongebruikelijke namen en veel niet-Engelse talen gebruiken meer tokens per woord. Elke modelfamilie heeft zijn eigen tokenizer, waardoor dezelfde tekst bij verschillende aanbieders verschillende tellingen kan opleveren. Prijzen worden meestal vermeld per miljoen tokens, met afzonderlijke invoer- en uitvoertarieven. Uitvoertokens kosten meer omdat het model ze één voor één genereert, terwijl het invoertokens parallel kan verwerken. De output wordt gewoonlijk geprijsd op meerdere malen de inputsnelheid, vaak ergens tussen de vier en acht keer, hoewel de verhoudingen per model verschillen. Hier is een uitgewerkt voorbeeld met verzonnen prijzen: input van $3 per miljoen tokens en output van $15 per miljoen. Een taak verzendt 6.000 invoertokens (systeemprompt, instructies en een document) en krijgt 800 uitvoertokens terug. - Invoer: 6.000 x $3 / 1.000.000 = $0,018 - Output: 800 x $15 / 1.000.000 = $0,012 - Totaal: $0,03 per taak Bij 10.000 taken per dag komt dat neer op ongeveer $300 per dag. Echte rekeningen verrassen mensen vaak, en wel om voorspelbare redenen: - Chatapplicaties sturen het hele gesprek elke keer opnieuw, zodat de input met elk bericht toeneemt. - Redeneringsmodellen genereren interne denktokens die als output worden gefactureerd, zelfs als ze niet volledig worden weergegeven. - Tooldefinities, opgehaalde documenten en afbeeldingen tellen allemaal als invoer. - Nieuwe pogingen en mislukte oproepen kosten ook geld. Drie misvattingen komen vaak voor: dat tokens gelijke woorden zijn, dat het vullen van het contextvenster van een model gratis is, en dat het model met de laagste prijs per token altijd het goedkoopst is per taak. Een sterker model dat in minder pogingen eindigt, kan in totaal minder kosten.
Een ontwikkelaar gebruikt de open-source tiktoken-bibliotheek van OpenAI om een ondersteuningsartikel van 3000 woorden te tellen voordat het wordt verzonden. Het gaat om ongeveer 4.000 tokens, en ze stelt een bijpassende budgetwaarschuwing in.
Een chatbotteam komt erachter dat het grootste deel van de rekening komt uit het elke keer opnieuw verzenden van een systeemprompt van 2.000 tokens en de volledige chatgeschiedenis. Het bespaart kosten door oudere beurten samen te vatten en snelle caching te gebruiken.
Een bedrijf dat in één nacht 50.000 productbeschrijvingen verwerkt, verplaatst de taak naar de batch-API van een provider. De batch-API brengt minder kosten in rekening en in ruil daarvoor komen de resultaten binnen enkele uren in plaats van seconden.
Een team dat inhoud naar het Hindi en Japans vertaalt, heeft meer budget per pagina nodig dan voor het Engels. Bij gewone tokenizers zijn voor dezelfde betekenis vaak meer tokens nodig in die talen.
De prijzen per token voor een bepaald capaciteitsniveau zijn de afgelopen jaren aanzienlijk gedaald. De totale uitgaven stijgen sowieso vaak, omdat applicaties langere contexten gebruiken, agenten veel telefoontjes plegen en redeneermodellen meer output opleveren. De prijzen worden ook steeds gevarieerder, met afzonderlijke tarieven voor in de cache opgeslagen invoer, verzoeken met een lange context, batchtaken en redenering. Dat maakt het belangrijker om het daadwerkelijke gebruik per taak te meten dan om de hoofdprijzen te vergelijken. Kosteninstrumenten zoals budgetten, het bijhouden van kosten per functie en automatische modelroutering zullen waarschijnlijk standaardonderdelen worden van LLM-applicaties.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
LLM API's rekenen per token, een stuk tekst dat ongeveer driekwart van een Engels woord beslaat. Invoertokens die u verzendt en uitvoertokens die het model genereert, hebben aparte tarieven, en de uitvoer kost meestal meerdere malen meer. Om de kosten te schatten, telt u de tokens met de tokenizer of het teleindpunt van de provider en vermenigvuldigt u elke zijde met het percentage per miljoen. Voeg verborgen tokens toe, zoals systeemprompts, gespreksgeschiedenis en redenering.
Engels heeft gemiddeld ongeveer vier tekens of 0,75 woorden per token, dus 1.000 woorden zijn ongeveer 1.300 tot 1.400 tokens.
Het één voor één genereren van tokens kost meer rekentijd dan het parallel verwerken van invoertokens.
6.000 x 3 / 1.000.000 = $0,018 en 800 x 15 / 1.000.000 = $0,012, wat neerkomt op $0,03.
Elk nieuw bericht bevat meestal alle eerdere beurten, dus de invoerfiches stapelen zich op, tenzij de geschiedenis wordt ingekort of samengevat.
Thinking-tokens worden door het model gegenereerd, dus ze worden als uitvoer gefactureerd, zelfs als u ze niet allemaal ziet.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
Het schatten van LLM API-kosten en tokenbudgetten
Technisch