Technický PRŮVODCE

Maximální počet tokenů a stop sekvence

Max tokens je horní limit počtu tokenů, které může model vygenerovat v jedné odpovědi, a stop sequences jsou řetězce, které ukončí generování, jakmile je model vygeneruje.

Poslechněte si tento návodAI-vyprávěný · ~3 min

Na této stránce4 min čtení
  1. Přehled
  2. Hluboký ponor
  3. Real-World Implementace
  4. Budoucnost Max Tokens a Stop Sequences
  5. Uvedení do praxe
  6. Pokračujte v objevování
  7. Často kladené otázky

Přehled

Společně s finish reason, který API vrátí, určují, kde odpověď končí, a sdělují, zda skončila přirozeně, nebo byla oříznuta. Jejich správné nastavení zabraňuje oříznutému JSON, nedokončeným odpovědím a plýtvání prostředky.

Hluboký ponor

A language model generates one token at a time until something tells it to stop. There are three common reasons it stops. It produces its own end-of-turn token, meaning it decided the answer is complete. It reaches the maximum number of output tokens you allowed. Or it produces text that matches one of your stop sequences. Max tokens is often confused with the context window. The context window is the total number of tokens the model can handle at once, input plus output. Max tokens only limits the output of a single call. A model with a very large context window can still produce short responses if max tokens is set low, and input plus max tokens generally has to fit inside the context window. APIs report why generation ended. OpenAI's Chat Completions API returns a finish_reason such as 'stop' for a natural end or a matched stop sequence, 'length' when the output limit was hit, and 'tool_calls' when the model wants to call a tool. Anthropic's Messages API returns a stop_reason such as 'end_turn', 'max_tokens', 'stop_sequence' or 'tool_use'. Anthropic requires max_tokens on every request. For its reasoning models, OpenAI introduced max_completion_tokens, which counts hidden reasoning tokens as well as visible output. Stop sequences are useful for structured formats: ending after a closing tag, stopping before a speaker label, or cutting off after one list item. The matched text is normally not included in the returned output, so code should not expect to see it. The most common mistake is ignoring the finish reason. A truncated response can look plausible, especially prose, while structured output simply breaks. Another misconception is that a low max tokens makes the model write concisely. It does not; the model writes as it normally would and gets cut off. Ask for brevity in the prompt and use the limit as a safety cap.

Real-World Implementace

Shrňovač nastaví max tokens na 150 a některá shrnutí končí uprostřed věty; kontrola finish reason ukazuje pro tyto volání hodnotu 'length', takže aplikace zvýší limit a v promptu místo toho požádá o kratší shrnutí.

Skript, který extrahuje data jako JSON, selže při parsování přibližně u jednoho volání na padesát; každé selhání narazilo na limit výstupu, takže kód nyní při finish reason, který říká, že výstup byl oříznut, opakuje pokus s vyšším limitem.

Vývojář generující jednou jednu řádku dialogu používá stop sequence 'User:', aby model nepřestal a nepsal i další řádku uživatele.

Tým přecházející na model s uvažováním zjistí, že odpovědi se vrací prázdné, protože skryté uvažování spotřebovalo limit výstupu, takže zvýší limit, aby zbylo místo pro oba – uvažování i odpověď.

Budoucnost Max Tokens a Stop Sequences

Limity výstupu rostly, protože modely podporují delší generování, a funkce strukturovaného výstupu, které omezují odpovědi na schéma, snižují, ale neodstraňují, riziko oříznutí, protože dostatečně dlouhá odpověď může stále narazit na limit. Modely s uvažováním učinily rozpočet výstupu důležitějším, protože skryté tokeny nyní sdílejí stejný limit. Názvy parametrů a hodnoty finish reason se liší mezi poskytovateli a měnily se v čase, takže je rozumné zkontrolovat aktuální dokumentaci a obalit tyto detaily do vlastní malé vrstvy kódu.

Uvedení do praxe

Proč na tom záleží

  • Cena a rozpočet. Rozhodnutí o architektuře zvyšují výkon a provozní náklady po mnoho let.
  • Jasnější rozhodnutí. Technické vzdělání pomáhá týmům vybrat ten správný stack, nejen ten nejnovější.
  • Kontrola kvality. Lepší konstrukční volby snižují výskyt problémů se spolehlivostí ve výrobě.

Pozor na

  • Optimalizace jednoho benchmarku může skrýt širší systémové slabiny.
  • Náklady na infrastrukturu a údržbu jsou často podceňovány.
  • Mezery v zabezpečení a pozorovatelnosti se mohou zvětšovat, jak se systémy stávají složitějšími.

Další kroky

  1. Před implementací definujte cíle latence, kvality a nákladů.
  2. Benchmark za realistických podmínek zatížení a dat.
  3. Monitorování chyb, posunu a dopadu na uživatele.
  4. Před škálováním připravte cesty vrácení zpět a reakce na incidenty.

Pokračujte v objevování

Newsletter zdarma

Získejte denní přehled o AI

Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.

Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.

Otestujte se

Vyplňte kvíz o Max Tokens a Stop Sequences

Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.

Spustit kvíz

Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte

Často kladené otázky

Co jsou Max Tokens a Stop Sequences?

Max tokens je horní limit počtu tokenů, které může model vygenerovat v jedné odpovědi, a stop sequences jsou řetězce, které ukončí generování, jakmile je model vygeneruje. Společně s finish reason, který API vrátí, určují, kde odpověď končí, a sdělují, zda skončila přirozeně, nebo byla oříznuta. Jejich správné nastavení zabraňuje oříznutému JSON, nedokončeným odpovědím a plýtvání prostředky.

Co omezuje max tokens?

Max tokens omezuje výstup pro jedno volání. Kontextové okno je samostatný celkový limit pokrývající vstup i výstup.

Vaše volání vrací finish reason 'length' v API od OpenAI. Co se stalo?

'length' znamená, že generování bylo zastaveno, protože byl dosažen limit výstupu, takže odpověď může být neúplná.

Která stop_reason od Anthropic naznačuje, že model rozhodl, že jeho odpověď je kompletní?

'end_turn' znamená, že model skončil přirozeně. 'max_tokens' znamená, že byl oříznut, a 'stop_sequence' znamená, že se shodl jeden z vašich řetězců.

Proč nastavení nízké hodnoty max tokens nedělá odpovědi stručné?

Limit je tvrdé zastavení, ne pokyn. Požádejte o stručnost v promptu a ponechte limit jako bezpečnostní strop.

Je shodná stop sequence obvykle zahrnuta ve vráceném textu?

Stop sequences ukončují generování a obvykle nejsou zahrnuty ve vráceném výstupu, takže váš kód by se neměl spoléhat na jejich viditelnost.