LegközelebbKövetkező útmutató
Token számlálás és LLM API árképzés
Műszaki
Műszaki ÚTMUTATÓ
Az LLM API költségeinek becsléséhez szorozza meg az egyes kérések által küldött és fogadott tokeneket a szolgáltató tokenenkénti árával, majd skálázza az elvárt kérelmek számával.
Hallgassa meg ezt az útmutatótAI-narrált · ~3 min
Ha ezt az indítás előtt megteszi, elkerüli a meglepetésszerű számlákat, és megmutatja, hogy egy funkció nyereségesen árazható-e. Azt is megmutatja, hogy mely tervezési lehetőségek – például a hosszú beszélgetési előzmények – növelik a költést.
Az LLM API-k token alapján számláznak. A token egy olyan szövegrész, amely átlagosan nagyjából négy karakterből vagy körülbelül egy szó háromnegyedéből áll angolul. Más nyelveknek és kódoknak gyakran több tokenre van szükségük ugyanahhoz a jelentéshez, és az egyes szolgáltatók tokenizátorai egy kicsit másképp számolnak. Az árak millió tokenenként vannak megadva, külön díjszabással a bemenetre (minden, amit elküld) és a kimenetre (minden, amit a modell generál). A kimenet ára általában többszöröse a bemeneti árnak. A megbízható becslés öt lépésből áll: 1. Határozza meg a szolgáltatás által végrehajtott minden egyes feladatot. 2. Mérje meg a tokeneket kérésenként valós mintapromptokkal és a szolgáltató tokenizálójával vagy tokenszámláló végpontjával. Számolja meg a rendszerkérést, a letöltött dokumentumokat, a beszélgetési előzményeket, a felhasználói bevitelt és a várható kimenetet. 3. Becsült mennyiség: az aktív felhasználók szorozzák a kéréseket felhasználónként és naponta. 4. Szorozza meg a tokeneket árral és mennyiséggel. 5. Adja hozzá az újrapróbálkozások, sikertelen hívások, kiértékelési futtatások és növekedés költségeit. Íme egy működő példa, amely 3 dollár/millió bemeneti és 15 dollár/millió kimeneti tokenek hipotetikus árat tartalmaz. Egy 2000 beviteli tokent tartalmazó kérés 0,006 dollárba kerül. 400 kimeneti jelzője további 0,006 dollárba kerül, tehát a kérés 0,012 dollárba kerül. Napi 10 000 kérésnél ez napi 120 USD, vagyis körülbelül 3600 USD egy 30 napos hónapban, a rezsi előtt. A legnagyobb becslési hibák abból fakadnak, amit az emberek elfelejtenek: - A legtöbb csevegőalkalmazás minden fordulóban újraküldi a beszélgetést. A bevitel minden üzenettel növekszik, így egy hosszú beszélgetés sokkal többe kerül, mint több rövid beszélgetés. - A visszakereséssel kiegészített funkciók több ezer kontextusjelzőt adhatnak minden híváshoz. - Az érvelési modellek belső gondolkodási tokeneket generálnak, amelyek akkor is kimenetként kerülnek számlázásra, ha nem jelennek meg. - Az ügynökök sok hívást hajtanak végre minden egyes felhasználói művelethez. A kedvezmények megváltoztatják a matematikát. Az azonnali gyorsítótárazás csökkenti az ismétlődő előtagok árát, és a kötegelt API-k kedveznek a várakozásnak. Mindig ellenőrizze a szolgáltató aktuális árlistáját, mert az árak gyakran változnak.
Az e-mail-szerkesztési funkciót felépítő csapat valódi tesztkérdéseket futtat a tokenizátoron keresztül. Úgy találja, hogy a rendszerprompt az összes beviteli tokenek több mint felét teszi ki, ezért lerövidíti az indítás előtti promptot.
A chatbot előrejelzése körönként egy rövid felszólítást feltételezett, és szétesik, amint a csapat észreveszi, hogy minden kör újraküldi a teljes beszélgetést. A felülvizsgált előrejelzés korlátozza az előzményeket, és összefoglalja a régebbi fordulatokat.
Egy éjszakai munka, amely több tízezer támogatási jegyet osztályoz, átkerül a szolgáltató kedvezményes kötegelt API-jába. Az eredmények egyikére sincs szükség azonnal, így a késés nem kerül semmibe.
Egy érvelési modell induló költségvetés-tervezése megtanulja, hogy a rejtett érvelési tokenek kimenetként kerülnek számlázásra. A becslése csak a látható választ számolta, így többszörösére kell emelnie a kérésenkénti költséget.
A tokenenkénti árak általában csökkentek egy adott képességszint mellett. A szolgáltatók folyamatosan adnak hozzá árazási lehetőségeket, például gyorsítótárazási engedményeket, kötegelt díjakat és többszintű szolgáltatási szintet. Ez olcsóbbá teszi az LLM használatát, de bonyolultabbá teszi a becslést, mivel a legolcsóbb beállítás a késleltetési igényektől és az azonnali struktúrától függ. Az érvelés és az ügynöki munkaterhelés a fő költségeket a bemeneti hosszról a kimeneti tokenekre és a hívások számára helyezi át, így az egyszerű csevegési feltételezésekre épülő előrejelzések gyorsan elavulnak. A költségfigyelés valószínűleg az LLM-eszközök szabványos részévé válik. A becsléseket a naplózott használatból folyamatosan felülvizsgáljuk, nem pedig egyszer, az indítás előtt.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
Az LLM API költségeinek becsléséhez szorozza meg az egyes kérések által küldött és fogadott tokeneket a szolgáltató tokenenkénti árával, majd skálázza az elvárt kérelmek számával. Ha ezt az indítás előtt megteszi, elkerüli a meglepetésszerű számlákat, és megmutatja, hogy egy funkció nyereségesen árazható-e. Azt is megmutatja, hogy mely tervezési lehetőségek – például a hosszú beszélgetési előzmények – növelik a költést.
Egy általános ökölszabály körülbelül négy karakter vagy 0,75 szó angol tokenenként. Más nyelvek és kódok gyakran több tokent használnak ugyanarra a jelentésre.
A szolgáltatók külön fizetnek a bemenetért és a kimenetért, és a kimeneti tokenek ára általában többszöröse a bemeneti tokenek ára.
2 000 / 1 000 000 × 3 USD = 0,006 USD. A tokenek egymillióval való elosztása az árral való szorzás előtt minden becslés alapvető lépése.
A legtöbb csevegőalkalmazás minden körben újraküldi a teljes beszélgetést, így a bevitel minden üzenettel nő, az összes bevitel pedig nagyjából a beszélgetés hosszának négyzetével.
Az érvelési tokeneket a modell állítja elő, így azok kimenetként kerülnek számlázásra, még akkor is, ha a felhasználó soha nem látja őket. Ezek elhagyása súlyosan alábecsülheti a költségeket.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Token számlálás és LLM API árképzés
Műszaki