Technický PRŮVODCE

Počítání tokenů a stanovení cen LLM API

LLM API účtují za token, kus textu, který tvoří zhruba tři čtvrtiny anglického slova.

Poslechněte si tento návodAI-vyprávěný · ~3 min

Na této stránce4 min čtení
  1. Přehled
  2. Hluboký ponor
  3. Real-World Implementace
  4. Budoucnost počítání tokenů a stanovení cen LLM API
  5. Uvedení do praxe
  6. Pokračujte v objevování
  7. Často kladené otázky

Přehled

Vstupní tokeny, které odesíláte, a výstupní tokeny, které model generuje, mají samostatné sazby a výstup obvykle stojí několikanásobně více. Chcete-li odhadnout náklady, spočítejte tokeny pomocí tokenizeru poskytovatele nebo koncového bodu počítání a vynásobte každou stranu sazbou za milion. Zahrňte skryté tokeny, jako jsou systémové výzvy, historie konverzace a uvažování.

Hluboký ponor

Modelky nečtou znaky ani slova přímo. Tokenizer rozděluje text na tokeny, což jsou běžné sekvence znaků získané z tréninkových dat. Běžným orientačním pravidlem pro angličtinu jsou asi čtyři znaky nebo tři čtvrtiny slova na token. To znamená, že 1 000 slov představuje zhruba 1 300 až 1 400 tokenů. Kód, čísla, neobvyklá jména a mnoho neanglických jazyků používá více tokenů na slovo. Každá rodina modelů má svůj vlastní tokenizér, takže stejný text může produkovat různé počty s různými poskytovateli. Ceny jsou obvykle uváděny za milion tokenů s oddělenými vstupními a výstupními sazbami. Výstupní tokeny jsou dražší, protože je model generuje jeden po druhém, zatímco vstupní tokeny může zpracovávat paralelně. Výstup je běžně oceněn několikanásobkem vstupní sazby, často někde mezi čtyřnásobkem a osminásobkem, ačkoli poměry se liší podle modelu. Zde je zpracovaný příklad s vytvořenými cenami: vstup 3 $ za milion tokenů a výstup 15 $ za milion. Úloha odešle 6 000 vstupních tokenů (systémová výzva, instrukce a dokument) a dostane zpět 800 výstupních tokenů. - Vstup: 6 000 x 3 $ / 1 000 000 = 0,018 $ - Výstup: 800 x 15 $ / 1 000 000 = 0,012 $ - Celkem: 0,03 $ za úkol Při 10 000 úkolech denně to znamená přibližně 300 $ za den. Skutečné účty často překvapí lidi z předvídatelných důvodů: - Chatovací aplikace znovu posílají celou konverzaci na každém kroku, takže vstup roste s každou zprávou. - Modely uvažování generují interní tokeny myšlení, které jsou účtovány jako výstup, i když nejsou zobrazeny v plném rozsahu. - Definice nástrojů, načtené dokumenty a obrázky se počítají jako vstup. - Opakované a neúspěšné hovory také stojí peníze. Běžné jsou tři mylné představy: že tokeny jsou stejná slova, že vyplnění kontextového okna modelu je zdarma a že model s nejnižší cenou za token je vždy nejlevnější na úlohu. Silnější model, který skončí na méně pokusů, může stát celkově méně.

Real-World Implementace

Vývojář používá open-source knihovnu tiktokenů OpenAI k tomu, aby spočítal článek podpory o 3 000 slovech, než jej odešle. Jde o zhruba 4 000 tokenů a ona nastaví odpovídající upozornění na rozpočet.

Chatbot tým zjistí, že většina jeho účtu pochází z opětovného zaslání systémové výzvy 2 000 tokenů a celé historie chatu na každém kroku. Snižuje náklady tím, že shrnuje starší tahy a používá rychlé ukládání do mezipaměti.

Společnost zpracovávající přes noc 50 000 popisů produktů přesune úlohu do dávkového API poskytovatele. Dávkové rozhraní API účtuje méně a výsledky se na oplátku dostaví během několika hodin namísto sekund.

Tým překládající obsah do hindštiny a japonštiny má na stránku více než na angličtinu. U běžných tokenizérů stejný význam často vyžaduje více tokenů v těchto jazycích.

Budoucnost počítání tokenů a stanovení cen LLM API

Ceny za token pro danou úroveň schopností za posledních několik let podstatně klesly. Celkové výdaje stejně často rostou, protože aplikace používají delší kontexty, agenti provádějí mnoho hovorů a modely uvažování produkují více výstupu. Ceny jsou také stále rozmanitější, se samostatnými sazbami pro vstup z mezipaměti, požadavky s dlouhým kontextem, dávkové úlohy a uvažování. Proto je důležitější měřit skutečné využití na úkol než porovnávat hlavní ceny. Nákladové nástroje, jako jsou rozpočty, sledování nákladů na jednotlivé funkce a automatické směrování modelů, se pravděpodobně stanou standardní součástí aplikací LLM.

Uvedení do praxe

Proč na tom záleží

  • Cena a rozpočet. Rozhodnutí o architektuře zvyšují výkon a provozní náklady po mnoho let.
  • Jasnější rozhodnutí. Technické vzdělání pomáhá týmům vybrat ten správný stack, nejen ten nejnovější.
  • Kontrola kvality. Lepší konstrukční volby snižují výskyt problémů se spolehlivostí ve výrobě.

Pozor na

  • Optimalizace jednoho benchmarku může skrýt širší systémové slabiny.
  • Náklady na infrastrukturu a údržbu jsou často podceňovány.
  • Mezery v zabezpečení a pozorovatelnosti se mohou zvětšovat, jak se systémy stávají složitějšími.

Další kroky

  1. Před implementací definujte cíle latence, kvality a nákladů.
  2. Benchmark za realistických podmínek zatížení a dat.
  3. Monitorování chyb, posunu a dopadu na uživatele.
  4. Před škálováním připravte cesty vrácení zpět a reakce na incidenty.

Pokračujte v objevování

Newsletter zdarma

Získejte denní přehled o AI

Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.

Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.

Otestujte se

Take the Token Counting and LLM API Pricing quiz

Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.

Spustit kvíz

Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte

Často kladené otázky

Co je to počítání tokenů a stanovování cen LLM API?

LLM API účtují za token, kus textu, který tvoří zhruba tři čtvrtiny anglického slova. Vstupní tokeny, které odesíláte, a výstupní tokeny, které model generuje, mají samostatné sazby a výstup obvykle stojí několikanásobně více. Chcete-li odhadnout náklady, spočítejte tokeny pomocí tokenizeru poskytovatele nebo koncového bodu počítání a vynásobte každou stranu sazbou za milion. Zahrňte skryté tokeny, jako jsou systémové výzvy, historie konverzace a uvažování.

Jaké je běžné pravidlo pro anglický text a tokeny?

Angličtina má v průměru asi čtyři znaky nebo 0,75 slova na token, takže 1 000 slov je zhruba 1 300 až 1 400 tokenů.

Proč jsou výstupní tokeny obvykle dražší než vstupní tokeny?

Generování tokenů jeden po druhém zabere více času na výpočet než paralelní zpracování vstupních tokenů.

S vytvořenými cenami 3 $ za milion vstupních tokenů a 15 $ za milion výstupních tokenů, kolik stojí volání s 6 000 vstupními a 800 výstupními tokeny?

6 000 x 3 / 1 000 000 = 0,018 $ a 800 x 15 / 1 000 000 = 0,012 $, což dává dohromady 0,03 $.

Proč náklady na chatboty často rostou, když konverzace pokračuje?

Každá nová zpráva obvykle zahrnuje všechny předchozí tahy, takže vstupní žetony se hromadí, pokud není historie oříznuta nebo shrnuta.

Jak jsou obvykle účtovány interní tokeny myšlení modelu uvažování?

Tokeny myšlení jsou generovány modelem, takže jsou účtovány jako výstup, i když je všechny nevidíte.