Il prossimoProssima guida
Stima dei costi API LLM e dei budget dei token
Tecnico
GUIDA TECNICA
Max tokens è il limite massimo di token che un modello può generare in una singola risposta, e le sequenze di arresto sono stringhe che interrompono la generazione non appena il modello le produce.
Ascolta questa guidaNarrato dall'IA · ~3 min
Insieme al motivo di fine generazione restituito dall'API, determinano dove termina una risposta e indicano se è terminata naturalmente o se è stata interrotta. Impostarli correttamente previene JSON troncati, risposte incomplete e spreco di risorse.
A language model generates one token at a time until something tells it to stop. There are three common reasons it stops. It produces its own end-of-turn token, meaning it decided the answer is complete. It reaches the maximum number of output tokens you allowed. Or it produces text that matches one of your stop sequences. Max tokens is often confused with the context window. The context window is the total number of tokens the model can handle at once, input plus output. Max tokens only limits the output of a single call. A model with a very large context window can still produce short responses if max tokens is set low, and input plus max tokens generally has to fit inside the context window. APIs report why generation ended. OpenAI's Chat Completions API returns a finish_reason such as 'stop' for a natural end or a matched stop sequence, 'length' when the output limit was hit, and 'tool_calls' when the model wants to call a tool. Anthropic's Messages API returns a stop_reason such as 'end_turn', 'max_tokens', 'stop_sequence' or 'tool_use'. Anthropic requires max_tokens on every request. For its reasoning models, OpenAI introduced max_completion_tokens, which counts hidden reasoning tokens as well as visible output. Stop sequences are useful for structured formats: ending after a closing tag, stopping before a speaker label, or cutting off after one list item. The matched text is normally not included in the returned output, so code should not expect to see it. The most common mistake is ignoring the finish reason. A truncated response can look plausible, especially prose, while structured output simply breaks. Another misconception is that a low max tokens makes the model write concisely. It does not; the model writes as it normally would and gets cut off. Ask for brevity in the prompt and use the limit as a safety cap.
Un riepilogatore imposta max tokens a 150 e alcuni riepiloghi terminano a metà frase; controllando il motivo di fine generazione si vede 'length' per quelle chiamate, quindi l'app aumenta il limite e chiede riepiloghi più brevi nel prompt.
Uno script che estrae dati in JSON non riesce a analizzare circa una risposta su cinquanta; ogni fallimento aveva raggiunto il limite di output, quindi il codice ora riprova con un limite più alto quando il motivo di fine generazione indica che l'output è stato troncato.
Uno sviluppatore che genera una riga di dialogo alla volta utilizza la sequenza di arresto 'User:' in modo che il modello non continui a scrivere anche la riga successiva dell'utente.
Un team che passa a un modello di ragionamento scopre che le risposte tornano vuote perché il ragionamento nascosto ha esaurito il limite di output, quindi aumentano il limite per lasciare spazio sia al ragionamento che alla risposta.
I limiti di output sono cresciuti man mano che i modelli supportano generazioni più lunghe, e le funzionalità di output strutturato che vincolano le risposte a uno schema riducono, ma non eliminano, il rischio di troncamento, poiché una risposta sufficientemente lunga può comunque raggiungere il limite. I modelli di ragionamento hanno reso la gestione del budget di output più importante perché i token nascosti condividono ora lo stesso limite. I nomi dei parametri e i valori dei motivi di fine generazione variano tra i provider e sono cambiati nel tempo, quindi è sensato consultare la documentazione attuale e incapsulare questi dettagli in un piccolo livello del proprio codice.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Max tokens è il limite massimo di token che un modello può generare in una singola risposta, e le sequenze di arresto sono stringhe che interrompono la generazione non appena il modello le produce. Insieme al motivo di fine generazione restituito dall'API, determinano dove termina una risposta e indicano se è terminata naturalmente o se è stata interrotta. Impostarli correttamente previene JSON troncati, risposte incomplete e spreco di risorse.
Max tokens limita l'output per una singola chiamata. La finestra di contesto è il limite totale separato che copre input e output.
'length' significa che la generazione si è fermata perché è stato raggiunto il limite di output, quindi la risposta potrebbe essere incompleta.
'end_turn' significa che il modello si è fermato naturalmente. 'max_tokens' significa che è stato interrotto, e 'stop_sequence' significa che una delle tue stringhe è stata trovata.
Il limite è un arresto forzato, non un'istruzione. Chiedi concisione nel prompt e mantieni il limite come limite di sicurezza.
Le sequenze di arresto interrompono la generazione e tipicamente non sono incluse nell'output restituito, quindi il tuo codice non dovrebbe fare affidamento sul vederle.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Stima dei costi API LLM e dei budget dei token
Tecnico