LegközelebbKövetkező útmutató
LLM API-költségek és tokenköltségvetések becslése
Műszaki
Műszaki ÚTMUTATÓ
A Max token azt jelenti, hogy egy modell hány tokent generálhat egy válaszban, a stop sorozatok pedig olyan karakterláncok, amelyek a generálást azonnal befejezik, amint a modell létrehozza őket.
Hallgassa meg ezt az útmutatótAI-narrált · ~3 min
Az API visszatérésének befejezési okával együtt eldöntik, hol ér véget a válasz, és megmondják, hogy természetes véget ért-e, vagy megszakadt. A helyes megoldással elkerülhető a csonka JSON, a félkész válaszok és az elpazarolt költekezés.
Egy nyelvi modell egyszerre egy tokent generál, amíg valami megálljt nem parancsol neki. Három gyakori oka van a leállásnak. Saját fordulóvégi jelzőt állít elő, vagyis úgy döntött, hogy a válasz teljes. Eléri az engedélyezett kimeneti tokenek maximális számát. Vagy olyan szöveget állít elő, amely megfelel az egyik leállítási sorozatnak. A Max tokeneket gyakran összekeverik a környezeti ablakkal. A kontextusablak a modell által egyszerre kezelhető tokenek teljes száma, bemenet és kimenet. A maximális tokenek csak egyetlen hívás kimenetét korlátozzák. A nagyon nagy kontextusablakkal rendelkező modellek továbbra is képesek rövid válaszokat adni, ha a maximális tokenek alacsonyra vannak állítva, és a bemeneti és maximális tokenek általában bele kell férniük a kontextusablakba. Az API-k beszámolnak arról, hogy miért fejeződött be a generálás. A OpenAI Chat Completions API egy finish_reason értéket ad vissza, mint például a „stop” a természetes befejezéshez vagy az egyező leállítási szekvenciához, a „hosszúság”, amikor elérte a kimeneti korlátot, és a „tool_calls”, amikor a modell eszközt akar hívni. A Anthropic Messages API stop_reason-t ad vissza, például 'end_turn', 'max_tokens', 'stop_sequence' vagy 'tool_use'. A Anthropic max_token-t igényel minden kérésnél. Érvelési modelljeihez a OpenAI bevezette a max_completion_tokens-t, amely a rejtett érvelési tokeneket és a látható kimeneteket is számolja. A leállítási szekvenciák hasznosak strukturált formátumoknál: záró címke után véget érnek, hangszórócímke előtt megállnak, vagy egy listaelem után levágnak. Az egyező szöveg általában nem szerepel a visszaadott kimenetben, ezért a kódnak nem szabad látnia. A leggyakoribb hiba a befejezés okának figyelmen kívül hagyása. A csonkolt válasz hihetőnek tűnhet, különösen a prózában, míg a strukturált kimenet egyszerűen megszakad. Egy másik tévhit az, hogy az alacsony max tokenek miatt a modell tömören ír. Nem; a modell a szokásos módon ír, és le van vágva. Kérjen rövidséget a felszólításban, és használja a határértéket biztonsági sapkaként.
A summarizer sets max tokens to 150 and some summaries end mid-sentence; checking the finish reason shows 'length' for those calls, so the app raises the limit and asks for shorter summaries in the prompt instead.
A script that extracts data as JSON fails to parse about one response in fifty; each failure had hit the output limit, so the code now retries with a higher limit when the finish reason says the output was truncated.
A developer generating one line of dialogue at a time uses the stop sequence 'User:' so the model does not continue and write the user's next line too.
A team moving to a reasoning model finds answers coming back empty because hidden reasoning used up the output limit, so they raise the limit to leave room for both reasoning and the answer.
Output limits have grown as models support longer generations, and structured output features that constrain responses to a schema reduce, but do not remove, the risk of truncation, since a long enough response can still hit the cap. Reasoning models have made output budgeting more important because hidden tokens now share the same limit. Parameter names and finish reason values differ between providers and have changed over time, so it is sensible to check current documentation and wrap these details in a small layer of your own code.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A Max token azt jelenti, hogy egy modell hány tokent generálhat egy válaszban, a stop sorozatok pedig olyan karakterláncok, amelyek a generálást azonnal befejezik, amint a modell létrehozza őket. Az API visszatérésének befejezési okával együtt eldöntik, hol ér véget a válasz, és megmondják, hogy természetes véget ért-e, vagy megszakadt. A helyes megoldással elkerülhető a csonka JSON, a félkész válaszok és az elpazarolt költekezés.
Max tokens caps output for one call. The context window is the separate total limit covering input and output.
'length' means generation stopped because the output limit was reached, so the response may be incomplete.
'end_turn' means the model ended naturally. 'max_tokens' means it was cut off, and 'stop_sequence' means one of your strings matched.
The limit is a hard stop, not an instruction. Ask for brevity in the prompt and keep the limit as a safety cap.
Stop sequences end generation and are typically not included in the returned output, so your code should not rely on seeing them.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
LLM API-költségek és tokenköltségvetések becslése
Műszaki