Műszaki ÚTMUTATÓ

Max tokenek és stop szekvenciák

A Max token azt jelenti, hogy egy modell hány tokent generálhat egy válaszban, a stop sorozatok pedig olyan karakterláncok, amelyek a generálást azonnal befejezik, amint a modell létrehozza őket.

Hallgassa meg ezt az útmutatótAI-narrált · ~3 min

Ezen az oldalon4 perc olvasás
  1. Áttekintés
  2. Mély merülés
  3. Valós megvalósítás
  4. A Max Tokenek és a Stop Sequences jövője
  5. A gyakorlatba ültetés
  6. Folytassa a felfedezést
  7. Gyakran ismételt kérdések

Áttekintés

Az API visszatérésének befejezési okával együtt eldöntik, hol ér véget a válasz, és megmondják, hogy természetes véget ért-e, vagy megszakadt. A helyes megoldással elkerülhető a csonka JSON, a félkész válaszok és az elpazarolt költekezés.

Mély merülés

Egy nyelvi modell egyszerre egy tokent generál, amíg valami megálljt nem parancsol neki. Három gyakori oka van a leállásnak. Saját fordulóvégi jelzőt állít elő, vagyis úgy döntött, hogy a válasz teljes. Eléri az engedélyezett kimeneti tokenek maximális számát. Vagy olyan szöveget állít elő, amely megfelel az egyik leállítási sorozatnak. A Max tokeneket gyakran összekeverik a környezeti ablakkal. A kontextusablak a modell által egyszerre kezelhető tokenek teljes száma, bemenet és kimenet. A maximális tokenek csak egyetlen hívás kimenetét korlátozzák. A nagyon nagy kontextusablakkal rendelkező modellek továbbra is képesek rövid válaszokat adni, ha a maximális tokenek alacsonyra vannak állítva, és a bemeneti és maximális tokenek általában bele kell férniük a kontextusablakba. Az API-k beszámolnak arról, hogy miért fejeződött be a generálás. A OpenAI Chat Completions API egy finish_reason értéket ad vissza, mint például a „stop” a természetes befejezéshez vagy az egyező leállítási szekvenciához, a „hosszúság”, amikor elérte a kimeneti korlátot, és a „tool_calls”, amikor a modell eszközt akar hívni. A Anthropic Messages API stop_reason-t ad vissza, például 'end_turn', 'max_tokens', 'stop_sequence' vagy 'tool_use'. A Anthropic max_token-t igényel minden kérésnél. Érvelési modelljeihez a OpenAI bevezette a max_completion_tokens-t, amely a rejtett érvelési tokeneket és a látható kimeneteket is számolja. A leállítási szekvenciák hasznosak strukturált formátumoknál: záró címke után véget érnek, hangszórócímke előtt megállnak, vagy egy listaelem után levágnak. Az egyező szöveg általában nem szerepel a visszaadott kimenetben, ezért a kódnak nem szabad látnia. A leggyakoribb hiba a befejezés okának figyelmen kívül hagyása. A csonkolt válasz hihetőnek tűnhet, különösen a prózában, míg a strukturált kimenet egyszerűen megszakad. Egy másik tévhit az, hogy az alacsony max tokenek miatt a modell tömören ír. Nem; a modell a szokásos módon ír, és le van vágva. Kérjen rövidséget a felszólításban, és használja a határértéket biztonsági sapkaként.

Valós megvalósítás

A summarizer sets max tokens to 150 and some summaries end mid-sentence; checking the finish reason shows 'length' for those calls, so the app raises the limit and asks for shorter summaries in the prompt instead.

A script that extracts data as JSON fails to parse about one response in fifty; each failure had hit the output limit, so the code now retries with a higher limit when the finish reason says the output was truncated.

A developer generating one line of dialogue at a time uses the stop sequence 'User:' so the model does not continue and write the user's next line too.

A team moving to a reasoning model finds answers coming back empty because hidden reasoning used up the output limit, so they raise the limit to leave room for both reasoning and the answer.

A Max Tokenek és a Stop Sequences jövője

Output limits have grown as models support longer generations, and structured output features that constrain responses to a schema reduce, but do not remove, the risk of truncation, since a long enough response can still hit the cap. Reasoning models have made output budgeting more important because hidden tokens now share the same limit. Parameter names and finish reason values differ between providers and have changed over time, so it is sensible to check current documentation and wrap these details in a small layer of your own code.

A gyakorlatba ültetés

Miért számít

  • Költség és költségvetés. Az építészeti döntések évekig növelik a teljesítményt és a működési költségeket.
  • Tisztább döntések. A technikai oktatás segít a csapatoknak a megfelelő verem kiválasztásában, nem csak a legújabb készletben.
  • Minőségellenőrzés. A jobb mérnöki döntések csökkentik a termelés megbízhatósági incidenseit.

Vigyázz

  • Egy benchmark optimalizálása elrejtheti a rendszer általános hiányosságait.
  • Az infrastrukturális és karbantartási költségeket gyakran alábecsülik.
  • A biztonsági és megfigyelhetőségi hiányosságok a rendszerek bonyolultabbá válásával nőhetnek.

Következő lépések

  1. Határozza meg a késleltetési, minőségi és költségcélokat a megvalósítás előtt.
  2. Benchmark reális terhelési és adatviszonyok mellett.
  3. Műszerfigyelés a hibák, az eltolódás és a felhasználói hatások szempontjából.
  4. A méretezés előtt készítse elő a visszagörgetési és az incidensre adott válaszútvonalakat.

Folytassa a felfedezést

Ingyenes hírlevél

Szerezze meg a napi AI összefoglalót

Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.

Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.

Teszteld magad

Take the Max Tokens and Stop Sequences quiz

Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.

Kezdő kvíz

Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt

Gyakran ismételt kérdések

What is Max Tokens and Stop Sequences?

A Max token azt jelenti, hogy egy modell hány tokent generálhat egy válaszban, a stop sorozatok pedig olyan karakterláncok, amelyek a generálást azonnal befejezik, amint a modell létrehozza őket. Az API visszatérésének befejezési okával együtt eldöntik, hol ér véget a válasz, és megmondják, hogy természetes véget ért-e, vagy megszakadt. A helyes megoldással elkerülhető a csonka JSON, a félkész válaszok és az elpazarolt költekezés.

What does max tokens limit?

Max tokens caps output for one call. The context window is the separate total limit covering input and output.

Your call returns a finish reason of 'length' in OpenAI's API. What happened?

'length' means generation stopped because the output limit was reached, so the response may be incomplete.

Which Anthropic stop_reason indicates the model decided its answer was complete?

'end_turn' means the model ended naturally. 'max_tokens' means it was cut off, and 'stop_sequence' means one of your strings matched.

Why does setting a low max tokens value not make answers concise?

The limit is a hard stop, not an instruction. Ask for brevity in the prompt and keep the limit as a safety cap.

Is the matched stop sequence normally included in the returned text?

Stop sequences end generation and are typically not included in the returned output, so your code should not rely on seeing them.