Technische GIDS

Tokentelling en LLM API-prijzen

LLM API's rekenen per token, een stuk tekst dat ongeveer driekwart van een Engels woord beslaat.

Luister naar deze gidsAI-verteld · ~3 min

Op deze pagina4 minuten lezen
  1. Overzicht
  2. Diepe duik
  3. Implementatie in de echte wereld
  4. De toekomst van tokentelling en LLM API-prijzen
  5. Het in de praktijk brengen
  6. Blijf verkennen
  7. Veelgestelde vragen

Overzicht

Invoertokens die u verzendt en uitvoertokens die het model genereert, hebben aparte tarieven, en de uitvoer kost meestal meerdere malen meer. Om de kosten te schatten, telt u de tokens met de tokenizer of het teleindpunt van de provider en vermenigvuldigt u elke zijde met het percentage per miljoen. Voeg verborgen tokens toe, zoals systeemprompts, gespreksgeschiedenis en redenering.

Diepe duik

Modellen lezen karakters of woorden niet rechtstreeks. Een tokenizer splitst tekst op in tokens, dit zijn algemene tekenreeksen die zijn geleerd uit trainingsgegevens. Een gebruikelijke vuistregel voor het Engels is ongeveer vier tekens, oftewel driekwart woord, per token. Dat komt neer op 1.000 woorden op ongeveer 1.300 tot 1.400 tokens. Code, cijfers, ongebruikelijke namen en veel niet-Engelse talen gebruiken meer tokens per woord. Elke modelfamilie heeft zijn eigen tokenizer, waardoor dezelfde tekst bij verschillende aanbieders verschillende tellingen kan opleveren. Prijzen worden meestal vermeld per miljoen tokens, met afzonderlijke invoer- en uitvoertarieven. Uitvoertokens kosten meer omdat het model ze één voor één genereert, terwijl het invoertokens parallel kan verwerken. De output wordt gewoonlijk geprijsd op meerdere malen de inputsnelheid, vaak ergens tussen de vier en acht keer, hoewel de verhoudingen per model verschillen. Hier is een uitgewerkt voorbeeld met verzonnen prijzen: input van $3 per miljoen tokens en output van $15 per miljoen. Een taak verzendt 6.000 invoertokens (systeemprompt, instructies en een document) en krijgt 800 uitvoertokens terug. - Invoer: 6.000 x $3 / 1.000.000 = $0,018 - Output: 800 x $15 / 1.000.000 = $0,012 - Totaal: $0,03 per taak Bij 10.000 taken per dag komt dat neer op ongeveer $300 per dag. Echte rekeningen verrassen mensen vaak, en wel om voorspelbare redenen: - Chatapplicaties sturen het hele gesprek elke keer opnieuw, zodat de input met elk bericht toeneemt. - Redeneringsmodellen genereren interne denktokens die als output worden gefactureerd, zelfs als ze niet volledig worden weergegeven. - Tooldefinities, opgehaalde documenten en afbeeldingen tellen allemaal als invoer. - Nieuwe pogingen en mislukte oproepen kosten ook geld. Drie misvattingen komen vaak voor: dat tokens gelijke woorden zijn, dat het vullen van het contextvenster van een model gratis is, en dat het model met de laagste prijs per token altijd het goedkoopst is per taak. Een sterker model dat in minder pogingen eindigt, kan in totaal minder kosten.

Implementatie in de echte wereld

Een ontwikkelaar gebruikt de open-source tiktoken-bibliotheek van OpenAI om een ​​ondersteuningsartikel van 3000 woorden te tellen voordat het wordt verzonden. Het gaat om ongeveer 4.000 tokens, en ze stelt een bijpassende budgetwaarschuwing in.

Een chatbotteam komt erachter dat het grootste deel van de rekening komt uit het elke keer opnieuw verzenden van een systeemprompt van 2.000 tokens en de volledige chatgeschiedenis. Het bespaart kosten door oudere beurten samen te vatten en snelle caching te gebruiken.

Een bedrijf dat in één nacht 50.000 productbeschrijvingen verwerkt, verplaatst de taak naar de batch-API van een provider. De batch-API brengt minder kosten in rekening en in ruil daarvoor komen de resultaten binnen enkele uren in plaats van seconden.

Een team dat inhoud naar het Hindi en Japans vertaalt, heeft meer budget per pagina nodig dan voor het Engels. Bij gewone tokenizers zijn voor dezelfde betekenis vaak meer tokens nodig in die talen.

De toekomst van tokentelling en LLM API-prijzen

De prijzen per token voor een bepaald capaciteitsniveau zijn de afgelopen jaren aanzienlijk gedaald. De totale uitgaven stijgen sowieso vaak, omdat applicaties langere contexten gebruiken, agenten veel telefoontjes plegen en redeneermodellen meer output opleveren. De prijzen worden ook steeds gevarieerder, met afzonderlijke tarieven voor in de cache opgeslagen invoer, verzoeken met een lange context, batchtaken en redenering. Dat maakt het belangrijker om het daadwerkelijke gebruik per taak te meten dan om de hoofdprijzen te vergelijken. Kosteninstrumenten zoals budgetten, het bijhouden van kosten per functie en automatische modelroutering zullen waarschijnlijk standaardonderdelen worden van LLM-applicaties.

Het in de praktijk brengen

Waarom het ertoe doet

  • Kosten en budget. Architectuurbeslissingen bepalen jarenlang de prestaties en bedrijfskosten.
  • Duidelijkere beslissingen. Technisch onderwijs helpt teams bij het kiezen van de juiste stapel, niet alleen de nieuwste.
  • Kwaliteitscontrole. Betere technische keuzes verminderen het aantal betrouwbaarheidsincidenten in de productie.

Pas op voor

  • Het optimaliseren van één benchmark kan bredere systeemzwakheden verbergen.
  • Infrastructuur- en onderhoudskosten worden vaak onderschat.
  • De lacunes op het gebied van beveiliging en waarneembaarheid kunnen groter worden naarmate systemen complexer worden.

Volgende stappen

  1. Definieer latentie-, kwaliteits- en kostendoelen vóór implementatie.
  2. Benchmark onder realistische belasting- en gegevensomstandigheden.
  3. Instrumentbewaking op fouten, drift en gebruikersimpact.
  4. Bereid rollback- en incidentresponspaden voor voordat u gaat schalen.

Blijf verkennen

Gratis nieuwsbrief

Ontvang de dagelijkse AI-briefing

Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.

Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.

Test jezelf

Take the Token Counting and LLM API Pricing quiz

Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.

Quiz starten

Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie

Veelgestelde vragen

Wat is tokentelling en LLM API-prijzen?

LLM API's rekenen per token, een stuk tekst dat ongeveer driekwart van een Engels woord beslaat. Invoertokens die u verzendt en uitvoertokens die het model genereert, hebben aparte tarieven, en de uitvoer kost meestal meerdere malen meer. Om de kosten te schatten, telt u de tokens met de tokenizer of het teleindpunt van de provider en vermenigvuldigt u elke zijde met het percentage per miljoen. Voeg verborgen tokens toe, zoals systeemprompts, gespreksgeschiedenis en redenering.

Wat is een algemene vuistregel voor Engelse tekst en tokens?

Engels heeft gemiddeld ongeveer vier tekens of 0,75 woorden per token, dus 1.000 woorden zijn ongeveer 1.300 tot 1.400 tokens.

Waarom zijn uitvoertokens doorgaans hoger geprijsd dan invoertokens?

Het één voor één genereren van tokens kost meer rekentijd dan het parallel verwerken van invoertokens.

Wat kost een oproep met 6.000 input- en 800 output-tokens, met verzonnen prijzen van $3 per miljoen inputtokens en $15 per miljoen outputtokens?

6.000 x 3 / 1.000.000 = $0,018 en 800 x 15 / 1.000.000 = $0,012, wat neerkomt op $0,03.

Waarom stijgen de kosten van chatbots vaak naarmate een gesprek vordert?

Elk nieuw bericht bevat meestal alle eerdere beurten, dus de invoerfiches stapelen zich op, tenzij de geschiedenis wordt ingekort of samengevat.

Hoe worden de interne denktokens van een redeneermodel doorgaans gefactureerd?

Thinking-tokens worden door het model gegenereerd, dus ze worden als uitvoer gefactureerd, zelfs als u ze niet allemaal ziet.