Műszaki ÚTMUTATÓ

Token számlálás és LLM API árképzés

Az LLM API-k tokenenként számítanak fel, egy olyan szövegrész, amely nagyjából egy angol szó háromnegyede.

Hallgassa meg ezt az útmutatótAI-narrált · ~3 min

Ezen az oldalon4 perc olvasás
  1. Áttekintés
  2. Mély merülés
  3. Valós megvalósítás
  4. A tokenszámlálás és az LLM API-árazás jövője
  5. A gyakorlatba ültetés
  6. Folytassa a felfedezést
  7. Gyakran ismételt kérdések

Áttekintés

A modell által generált bemeneti és kimeneti tokenek külön díjszabással rendelkeznek, és a kimenet általában többszöröse többe kerül. A költségek becsléséhez számolja meg a tokeneket a szolgáltató tokenizátorával vagy a számlálási végponttal, és szorozza meg mindkét oldalt a milliónkénti arányával. Tartalmazzon rejtett tokeneket, például rendszerkérdéseket, beszélgetési előzményeket és érvelést.

Mély merülés

A modellek nem olvasnak közvetlenül karaktereket vagy szavakat. A tokenizátor a szöveget tokenekre bontja, amelyek gyakori karaktersorozatok, amelyeket a betanítási adatokból tanulnak meg. Az angol nyelv általános hüvelykujjszabálya körülbelül négy karakter vagy egy szó háromnegyede jelzőnként. Ez 1000 szót nagyjából 1300-1400 tokennek tesz ki. A kódok, számok, szokatlan nevek és sok nem angol nyelv több tokent használ szónként. Minden modellcsaládnak megvan a maga tokenizátora, így ugyanaz a szöveg különböző szolgáltatóknál eltérő számlálást eredményezhet. Az árakat általában millió tokenenként adják meg, külön bemeneti és kimeneti arányokkal. A kimeneti tokenek többe kerülnek, mert a modell egyenként állítja elő őket, miközben a bemeneti tokeneket párhuzamosan tudja feldolgozni. A kimenet ára általában többszöröse a beviteli aránynak, gyakran négy-nyolcszoros között, bár az arányok modellenként eltérőek. Íme egy működő példa a kitalált árakkal: a bemenet 3 dollár/millió token, a kimenet pedig 15 dollár/millió. Egy feladat 6000 bemeneti tokent küld (rendszerprompt, utasítások és egy dokumentum), és 800 kimeneti tokent kap vissza. - Bemenet: 6 000 x 3 USD / 1 000 000 = 0,018 USD - Kimenet: 800 x 15 USD / 1 000 000 = 0,012 USD - Összesen: 0,03 USD feladatonként Napi 10 000 feladat esetén ez körülbelül napi 300 USD. A valódi számlák gyakran meglepik az embereket, előre látható okokból: - A csevegőalkalmazások minden fordulóban újraküldik a teljes beszélgetést, így a bemenet minden üzenettel nő. - Az érvelési modellek belső gondolkodási tokeneket generálnak, amelyek kimenetként kerülnek számlázásra, még akkor is, ha nem jelennek meg teljes mértékben. - Az eszközdefiníciók, a letöltött dokumentumok és képek mind bemenetnek számítanak. - Az újrapróbálkozások és a sikertelen hívások is pénzbe kerülnek. Három tévhit gyakori: a tokenek egyenlő szavakat tartalmaznak, a modell kontextusablakának kitöltése ingyenes, és hogy mindig a legalacsonyabb tokenárú modell a legolcsóbb feladatonként. Egy erősebb modell, amely kevesebb próbálkozással fejeződik be, összességében kevesebbe kerülhet.

Valós megvalósítás

Egy fejlesztő a OpenAI nyílt forráskódú tiktoken könyvtárát használja, hogy megszámolja a 3000 szavas támogatási cikket, mielőtt elküldené. Nagyjából 4000 tokenről van szó, és ennek megfelelően beállít egy költségvetési riasztást.

Egy chatbot-csapat úgy találja, hogy a számlája nagy része egy 2000 tokenből álló rendszerkérdés és a teljes csevegési előzmények újraküldéséből származik. A régebbi fordulatok összegzésével és azonnali gyorsítótár használatával csökkenti a költségeket.

Egy 50 000 termékleírást feldolgozó vállalat egyik napról a másikra áthelyezi a munkát a szolgáltató kötegelt API-jába. A kötegelt API kevesebb díjat számít fel, és cserébe az eredmények másodpercek helyett órákon belül megérkeznek.

A tartalmat hindi és japán nyelvre lefordító csapat oldalanként több költségkeretet fordít, mint angolra. A gyakori tokenizátoroknál ugyanaz a jelentés gyakran több tokent igényel ezekben a nyelvekben.

A tokenszámlálás és az LLM API-árazás jövője

Egy adott képességszint tokenenkénti ára jelentősen csökkent az elmúlt néhány évben. A teljes ráfordítás gyakran egyébként is növekszik, mivel az alkalmazások hosszabb kontextust használnak, az ügynökök sok hívást kezdeményeznek, és az érvelési modellek több kimenetet produkálnak. Az árképzés is egyre változatosabb, külön díjszabással jár a gyorsítótárazott bevitel, a hosszú kontextusú kérések, a kötegelt feladatok és az érvelés. Ez fontosabbá teszi a tényleges felhasználás mérését feladatonként, mint a főoldali árak összehasonlítását. Az olyan költségeszközök, mint a költségvetés, a szolgáltatásonkénti költségkövetés és az automatikus modell-útválasztás, valószínűleg az LLM-alkalmazások standard részeivé válnak.

A gyakorlatba ültetés

Miért számít

  • Költség és költségvetés. Az építészeti döntések évekig növelik a teljesítményt és a működési költségeket.
  • Tisztább döntések. A technikai oktatás segít a csapatoknak a megfelelő verem kiválasztásában, nem csak a legújabb készletben.
  • Minőségellenőrzés. A jobb mérnöki döntések csökkentik a termelés megbízhatósági incidenseit.

Vigyázz

  • Egy benchmark optimalizálása elrejtheti a rendszer általános hiányosságait.
  • Az infrastrukturális és karbantartási költségeket gyakran alábecsülik.
  • A biztonsági és megfigyelhetőségi hiányosságok a rendszerek bonyolultabbá válásával nőhetnek.

Következő lépések

  1. Határozza meg a késleltetési, minőségi és költségcélokat a megvalósítás előtt.
  2. Benchmark reális terhelési és adatviszonyok mellett.
  3. Műszerfigyelés a hibák, az eltolódás és a felhasználói hatások szempontjából.
  4. A méretezés előtt készítse elő a visszagörgetési és az incidensre adott válaszútvonalakat.

Folytassa a felfedezést

Ingyenes hírlevél

Szerezze meg a napi AI összefoglalót

Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.

Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.

Teszteld magad

Take the Token Counting and LLM API Pricing quiz

Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.

Kezdő kvíz

Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt

Gyakran ismételt kérdések

Mi az a tokenszámlálás és az LLM API árképzés?

Az LLM API-k tokenenként számítanak fel, egy olyan szövegrész, amely nagyjából egy angol szó háromnegyede. A modell által generált bemeneti és kimeneti tokenek külön díjszabással rendelkeznek, és a kimenet általában többszöröse többe kerül. A költségek becsléséhez számolja meg a tokeneket a szolgáltató tokenizátorával vagy a számlálási végponttal, és szorozza meg mindkét oldalt a milliónkénti arányával. Tartalmazzon rejtett tokeneket, például rendszerkérdéseket, beszélgetési előzményeket és érvelést.

Mi az általános ökölszabály az angol szövegekre és tokenekre?

Az angol átlagosan körülbelül négy karakterből vagy 0,75 szóból áll tokenenként, tehát 1000 szó nagyjából 1300-1400 token.

A kimeneti tokenek ára általában miért magasabb, mint a bemeneti tokenek?

A tokenek egyenkénti generálása több számítási időt vesz igénybe, mint a bemeneti tokenek párhuzamos feldolgozása.

Mibe kerül egy 6000 bemeneti és 800 kimeneti tokenből álló hívás millióként 3 dolláros bemeneti és 15 dolláros millió kimeneti tokenek kitalált ára mellett?

6000 x 3 / 1 000 000 = 0,018 USD és 800 x 15 / 1 000 000 = 0,012 USD, ami összeadva 0,03 USD.

Miért nőnek gyakran a chatbot költségei a beszélgetés során?

Minden új üzenet általában tartalmazza az összes korábbi fordulót, így a beviteli tokenek felhalmozódnak, hacsak nem vágják vagy összegzik az előzményeket.

Általában hogyan számlázzák ki egy érvelési modell belső gondolkodási jelzőit?

A gondolkodási tokeneket a modell állítja elő, így akkor is kimenetként számlázzák ki őket, ha nem látja mindegyiket.