DalšíDalší průvodce
Odhad nákladů na LLM API a rozpočtů tokenů
Technický
Technický PRŮVODCE
LLM API účtují za token, kus textu, který tvoří zhruba tři čtvrtiny anglického slova.
Poslechněte si tento návodAI-vyprávěný · ~3 min
Vstupní tokeny, které odesíláte, a výstupní tokeny, které model generuje, mají samostatné sazby a výstup obvykle stojí několikanásobně více. Chcete-li odhadnout náklady, spočítejte tokeny pomocí tokenizeru poskytovatele nebo koncového bodu počítání a vynásobte každou stranu sazbou za milion. Zahrňte skryté tokeny, jako jsou systémové výzvy, historie konverzace a uvažování.
Modelky nečtou znaky ani slova přímo. Tokenizer rozděluje text na tokeny, což jsou běžné sekvence znaků získané z tréninkových dat. Běžným orientačním pravidlem pro angličtinu jsou asi čtyři znaky nebo tři čtvrtiny slova na token. To znamená, že 1 000 slov představuje zhruba 1 300 až 1 400 tokenů. Kód, čísla, neobvyklá jména a mnoho neanglických jazyků používá více tokenů na slovo. Každá rodina modelů má svůj vlastní tokenizér, takže stejný text může produkovat různé počty s různými poskytovateli. Ceny jsou obvykle uváděny za milion tokenů s oddělenými vstupními a výstupními sazbami. Výstupní tokeny jsou dražší, protože je model generuje jeden po druhém, zatímco vstupní tokeny může zpracovávat paralelně. Výstup je běžně oceněn několikanásobkem vstupní sazby, často někde mezi čtyřnásobkem a osminásobkem, ačkoli poměry se liší podle modelu. Zde je zpracovaný příklad s vytvořenými cenami: vstup 3 $ za milion tokenů a výstup 15 $ za milion. Úloha odešle 6 000 vstupních tokenů (systémová výzva, instrukce a dokument) a dostane zpět 800 výstupních tokenů. - Vstup: 6 000 x 3 $ / 1 000 000 = 0,018 $ - Výstup: 800 x 15 $ / 1 000 000 = 0,012 $ - Celkem: 0,03 $ za úkol Při 10 000 úkolech denně to znamená přibližně 300 $ za den. Skutečné účty často překvapí lidi z předvídatelných důvodů: - Chatovací aplikace znovu posílají celou konverzaci na každém kroku, takže vstup roste s každou zprávou. - Modely uvažování generují interní tokeny myšlení, které jsou účtovány jako výstup, i když nejsou zobrazeny v plném rozsahu. - Definice nástrojů, načtené dokumenty a obrázky se počítají jako vstup. - Opakované a neúspěšné hovory také stojí peníze. Běžné jsou tři mylné představy: že tokeny jsou stejná slova, že vyplnění kontextového okna modelu je zdarma a že model s nejnižší cenou za token je vždy nejlevnější na úlohu. Silnější model, který skončí na méně pokusů, může stát celkově méně.
Vývojář používá open-source knihovnu tiktokenů OpenAI k tomu, aby spočítal článek podpory o 3 000 slovech, než jej odešle. Jde o zhruba 4 000 tokenů a ona nastaví odpovídající upozornění na rozpočet.
Chatbot tým zjistí, že většina jeho účtu pochází z opětovného zaslání systémové výzvy 2 000 tokenů a celé historie chatu na každém kroku. Snižuje náklady tím, že shrnuje starší tahy a používá rychlé ukládání do mezipaměti.
Společnost zpracovávající přes noc 50 000 popisů produktů přesune úlohu do dávkového API poskytovatele. Dávkové rozhraní API účtuje méně a výsledky se na oplátku dostaví během několika hodin namísto sekund.
Tým překládající obsah do hindštiny a japonštiny má na stránku více než na angličtinu. U běžných tokenizérů stejný význam často vyžaduje více tokenů v těchto jazycích.
Ceny za token pro danou úroveň schopností za posledních několik let podstatně klesly. Celkové výdaje stejně často rostou, protože aplikace používají delší kontexty, agenti provádějí mnoho hovorů a modely uvažování produkují více výstupu. Ceny jsou také stále rozmanitější, se samostatnými sazbami pro vstup z mezipaměti, požadavky s dlouhým kontextem, dávkové úlohy a uvažování. Proto je důležitější měřit skutečné využití na úkol než porovnávat hlavní ceny. Nákladové nástroje, jako jsou rozpočty, sledování nákladů na jednotlivé funkce a automatické směrování modelů, se pravděpodobně stanou standardní součástí aplikací LLM.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
LLM API účtují za token, kus textu, který tvoří zhruba tři čtvrtiny anglického slova. Vstupní tokeny, které odesíláte, a výstupní tokeny, které model generuje, mají samostatné sazby a výstup obvykle stojí několikanásobně více. Chcete-li odhadnout náklady, spočítejte tokeny pomocí tokenizeru poskytovatele nebo koncového bodu počítání a vynásobte každou stranu sazbou za milion. Zahrňte skryté tokeny, jako jsou systémové výzvy, historie konverzace a uvažování.
Angličtina má v průměru asi čtyři znaky nebo 0,75 slova na token, takže 1 000 slov je zhruba 1 300 až 1 400 tokenů.
Generování tokenů jeden po druhém zabere více času na výpočet než paralelní zpracování vstupních tokenů.
6 000 x 3 / 1 000 000 = 0,018 $ a 800 x 15 / 1 000 000 = 0,012 $, což dává dohromady 0,03 $.
Každá nová zpráva obvykle zahrnuje všechny předchozí tahy, takže vstupní žetony se hromadí, pokud není historie oříznuta nebo shrnuta.
Tokeny myšlení jsou generovány modelem, takže jsou účtovány jako výstup, i když je všechny nevidíte.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Odhad nákladů na LLM API a rozpočtů tokenů
Technický