DalšíDalší průvodce
Odhad nákladů na LLM API a rozpočtů tokenů
Technický
Technický PRŮVODCE
Max tokens je horní limit počtu tokenů, které může model vygenerovat v jedné odpovědi, a stop sequences jsou řetězce, které ukončí generování, jakmile je model vygeneruje.
Poslechněte si tento návodAI-vyprávěný · ~3 min
Společně s finish reason, který API vrátí, určují, kde odpověď končí, a sdělují, zda skončila přirozeně, nebo byla oříznuta. Jejich správné nastavení zabraňuje oříznutému JSON, nedokončeným odpovědím a plýtvání prostředky.
A language model generates one token at a time until something tells it to stop. There are three common reasons it stops. It produces its own end-of-turn token, meaning it decided the answer is complete. It reaches the maximum number of output tokens you allowed. Or it produces text that matches one of your stop sequences. Max tokens is often confused with the context window. The context window is the total number of tokens the model can handle at once, input plus output. Max tokens only limits the output of a single call. A model with a very large context window can still produce short responses if max tokens is set low, and input plus max tokens generally has to fit inside the context window. APIs report why generation ended. OpenAI's Chat Completions API returns a finish_reason such as 'stop' for a natural end or a matched stop sequence, 'length' when the output limit was hit, and 'tool_calls' when the model wants to call a tool. Anthropic's Messages API returns a stop_reason such as 'end_turn', 'max_tokens', 'stop_sequence' or 'tool_use'. Anthropic requires max_tokens on every request. For its reasoning models, OpenAI introduced max_completion_tokens, which counts hidden reasoning tokens as well as visible output. Stop sequences are useful for structured formats: ending after a closing tag, stopping before a speaker label, or cutting off after one list item. The matched text is normally not included in the returned output, so code should not expect to see it. The most common mistake is ignoring the finish reason. A truncated response can look plausible, especially prose, while structured output simply breaks. Another misconception is that a low max tokens makes the model write concisely. It does not; the model writes as it normally would and gets cut off. Ask for brevity in the prompt and use the limit as a safety cap.
Shrňovač nastaví max tokens na 150 a některá shrnutí končí uprostřed věty; kontrola finish reason ukazuje pro tyto volání hodnotu 'length', takže aplikace zvýší limit a v promptu místo toho požádá o kratší shrnutí.
Skript, který extrahuje data jako JSON, selže při parsování přibližně u jednoho volání na padesát; každé selhání narazilo na limit výstupu, takže kód nyní při finish reason, který říká, že výstup byl oříznut, opakuje pokus s vyšším limitem.
Vývojář generující jednou jednu řádku dialogu používá stop sequence 'User:', aby model nepřestal a nepsal i další řádku uživatele.
Tým přecházející na model s uvažováním zjistí, že odpovědi se vrací prázdné, protože skryté uvažování spotřebovalo limit výstupu, takže zvýší limit, aby zbylo místo pro oba – uvažování i odpověď.
Limity výstupu rostly, protože modely podporují delší generování, a funkce strukturovaného výstupu, které omezují odpovědi na schéma, snižují, ale neodstraňují, riziko oříznutí, protože dostatečně dlouhá odpověď může stále narazit na limit. Modely s uvažováním učinily rozpočet výstupu důležitějším, protože skryté tokeny nyní sdílejí stejný limit. Názvy parametrů a hodnoty finish reason se liší mezi poskytovateli a měnily se v čase, takže je rozumné zkontrolovat aktuální dokumentaci a obalit tyto detaily do vlastní malé vrstvy kódu.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Max tokens je horní limit počtu tokenů, které může model vygenerovat v jedné odpovědi, a stop sequences jsou řetězce, které ukončí generování, jakmile je model vygeneruje. Společně s finish reason, který API vrátí, určují, kde odpověď končí, a sdělují, zda skončila přirozeně, nebo byla oříznuta. Jejich správné nastavení zabraňuje oříznutému JSON, nedokončeným odpovědím a plýtvání prostředky.
Max tokens omezuje výstup pro jedno volání. Kontextové okno je samostatný celkový limit pokrývající vstup i výstup.
'length' znamená, že generování bylo zastaveno, protože byl dosažen limit výstupu, takže odpověď může být neúplná.
'end_turn' znamená, že model skončil přirozeně. 'max_tokens' znamená, že byl oříznut, a 'stop_sequence' znamená, že se shodl jeden z vašich řetězců.
Limit je tvrdé zastavení, ne pokyn. Požádejte o stručnost v promptu a ponechte limit jako bezpečnostní strop.
Stop sequences ukončují generování a obvykle nejsou zahrnuty ve vráceném výstupu, takže váš kód by se neměl spoléhat na jejich viditelnost.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Odhad nákladů na LLM API a rozpočtů tokenů
Technický