DalšíDalší průvodce
Počítání tokenů a stanovení cen LLM API
Technický
Technický PRŮVODCE
Chcete-li odhadnout náklady na LLM API, vynásobte tokeny, které každý požadavek odešle a přijme, cenami poskytovatele za token a poté škálujte podle počtu požadavků, které očekáváte.
Poslechněte si tento návodAI-vyprávěný · ~3 min
Pokud to uděláte před uvedením na trh, zabráníte překvapivým účtům a ukážete, zda lze cenu funkce získat se ziskem. Ukazuje také, které možnosti designu, jako je dlouhá historie konverzace, vedou k utrácení.
LLM API se účtují podle tokenu. Token je kus textu, který má v angličtině v průměru zhruba čtyři znaky, tedy asi tři čtvrtiny slova. Jiné jazyky a kód často potřebují více tokenů pro stejný význam a tokenizér každého poskytovatele se počítá trochu jinak. Ceny jsou uvedeny za milion tokenů s oddělenými sazbami pro vstup (vše, co odešlete) a výstup (vše, co model generuje). Cena výstupu je obvykle několikanásobně vyšší než cena vstupu. Spolehlivý odhad se skládá z pěti kroků: 1. Definujte každý úkol, který funkce provádí. 2. Změřte tokeny na požadavek pomocí skutečných ukázkových výzev a tokenizéru poskytovatele nebo koncového bodu počítání tokenů. Počítejte systémovou výzvu, načtené dokumenty, historii konverzace, uživatelský vstup a očekávaný výstup. 3. Odhadněte objem: aktivní uživatelé vynásobí počet požadavků na uživatele za den. 4. Vynásobte tokeny cenou a objemem. 5. Přidejte režii pro opakování, neúspěšná volání, běhy hodnocení a růst. Zde je zpracovaný příklad využívající hypotetické ceny 3 $ za milion vstupních tokenů a 15 $ za milion výstupních tokenů. Požadavek s 2 000 vstupními tokeny stojí 0,006 $ za vstup. Jeho 400 výstupních tokenů stojí dalších 0,006 USD, takže požadavek stojí 0,012 USD. Při 10 000 žádostech denně, to je 120 USD za den, nebo asi 3 600 USD za 30denní měsíc, bez režijních nákladů. Největší chyby v odhadu pocházejí z toho, na co lidé zapomínají: - Většina chatovacích aplikací znovu posílá konverzaci na každém kroku. Vstup roste s každou zprávou, takže jedna dlouhá konverzace stojí mnohem více než několik krátkých. - Funkce rozšířené vyhledáváním mohou ke každému hovoru přidat tisíce tokenů kontextu. - Modely uvažování generují interní tokeny myšlení, které jsou účtovány jako výstup, i když nejsou zobrazeny. - Agenti provádějí mnoho volání pro každou akci uživatele. Slevy mění matematiku. Rychlé ukládání do mezipaměti snižuje cenu opakovaných prefixů a dávková rozhraní API zlevňují práci, která může počkat. Vždy zkontrolujte aktuální ceník poskytovatele, protože sazby se často mění.
Tým vytvářející funkci vytváření e-mailů spouští dávku skutečných testovacích výzev prostřednictvím tokenizeru. Zjistí, že systémová výzva tvoří více než polovinu všech vstupních tokenů, takže výzvu před spuštěním zkrátí.
Prognóza chatbota předpokládala jednu krátkou výzvu za kolo a rozpadne se, jakmile si tým všimne, že každé kolo znovu odešle celou konverzaci. Revidovaná předpověď uzavírá historii a shrnuje starší odbočky.
Noční práce, která klasifikuje desítky tisíc lístků podpory, se přesune do zlevněného dávkového API poskytovatele. Žádný z výsledků není potřeba hned, takže zpoždění nic nestojí.
Spouštěcí rozpočtování pro model uvažování zjistí, že skryté tokeny uvažování jsou účtovány jako výstup. Jeho odhad počítal pouze s viditelnou odpovědí, takže musí náklady na žádost několikrát zvýšit.
Ceny za token obecně pro danou úroveň schopností klesly. Poskytovatelé neustále přidávají cenové možnosti, jako jsou slevy na ukládání do mezipaměti, dávkové sazby a odstupňované úrovně služeb. Díky tomu je použití LLM levnější, ale odhad složitější, protože nejlevnější nastavení závisí na potřebách latence a rychlé struktuře. Uvažování a pracovní vytížení agentů přesouvají hlavní náklady z délky vstupu na výstupní tokeny a počet hovorů, takže prognózy postavené na jednoduchých předpokladech chatu rychle zastarají. Sledování nákladů se pravděpodobně stane standardní součástí nástrojů LLM. Odhady budou revidovány průběžně z protokolovaného použití, nikoli jednou před spuštěním.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Chcete-li odhadnout náklady na LLM API, vynásobte tokeny, které každý požadavek odešle a přijme, cenami poskytovatele za token a poté škálujte podle počtu požadavků, které očekáváte. Pokud to uděláte před uvedením na trh, zabráníte překvapivým účtům a ukážete, zda lze cenu funkce získat se ziskem. Ukazuje také, které možnosti designu, jako je dlouhá historie konverzace, vedou k utrácení.
Běžné pravidlo je asi čtyři znaky nebo 0,75 slova na anglický token. Jiné jazyky a kód často používají více tokenů pro stejný význam.
Poskytovatelé účtují zvlášť vstup a výstup a výstupní tokeny jsou obvykle několikanásobně vyšší než vstupní tokeny.
2 000 / 1 000 000 × 3 $ = 0,006 $. Vydělení tokenů jedním milionem před vynásobením cenou je základním krokem každého odhadu.
Většina chatovacích aplikací každé kolo znovu odešle celou konverzaci, takže vstup roste s každou zprávou a celkový vstup roste zhruba s druhou mocninou délky konverzace.
Tokeny odůvodnění jsou generovány modelem, takže jsou účtovány jako výstup, i když je uživatel nemusí nikdy vidět. Jejich vynechání může značně podhodnotit náklady.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Počítání tokenů a stanovení cen LLM API
Technický