GUIDA TECNICA

Massimi token e sequenze di stop

Max tokens è il limite massimo di token che un modello può generare in una singola risposta, e le sequenze di arresto sono stringhe che interrompono la generazione non appena il modello le produce.

Ascolta questa guidaNarrato dall'IA · ~3 min

In questa pagina4 minuti di lettura
  1. Panoramica
  2. Immersione profonda
  3. Implementazione nel mondo reale
  4. Il futuro di Max Tokens e Sequenze di Arresto
  5. Metterlo in pratica
  6. Continua a esplorare
  7. Domande frequenti

Panoramica

Insieme al motivo di fine generazione restituito dall'API, determinano dove termina una risposta e indicano se è terminata naturalmente o se è stata interrotta. Impostarli correttamente previene JSON troncati, risposte incomplete e spreco di risorse.

Immersione profonda

A language model generates one token at a time until something tells it to stop. There are three common reasons it stops. It produces its own end-of-turn token, meaning it decided the answer is complete. It reaches the maximum number of output tokens you allowed. Or it produces text that matches one of your stop sequences. Max tokens is often confused with the context window. The context window is the total number of tokens the model can handle at once, input plus output. Max tokens only limits the output of a single call. A model with a very large context window can still produce short responses if max tokens is set low, and input plus max tokens generally has to fit inside the context window. APIs report why generation ended. OpenAI's Chat Completions API returns a finish_reason such as 'stop' for a natural end or a matched stop sequence, 'length' when the output limit was hit, and 'tool_calls' when the model wants to call a tool. Anthropic's Messages API returns a stop_reason such as 'end_turn', 'max_tokens', 'stop_sequence' or 'tool_use'. Anthropic requires max_tokens on every request. For its reasoning models, OpenAI introduced max_completion_tokens, which counts hidden reasoning tokens as well as visible output. Stop sequences are useful for structured formats: ending after a closing tag, stopping before a speaker label, or cutting off after one list item. The matched text is normally not included in the returned output, so code should not expect to see it. The most common mistake is ignoring the finish reason. A truncated response can look plausible, especially prose, while structured output simply breaks. Another misconception is that a low max tokens makes the model write concisely. It does not; the model writes as it normally would and gets cut off. Ask for brevity in the prompt and use the limit as a safety cap.

Implementazione nel mondo reale

Un riepilogatore imposta max tokens a 150 e alcuni riepiloghi terminano a metà frase; controllando il motivo di fine generazione si vede 'length' per quelle chiamate, quindi l'app aumenta il limite e chiede riepiloghi più brevi nel prompt.

Uno script che estrae dati in JSON non riesce a analizzare circa una risposta su cinquanta; ogni fallimento aveva raggiunto il limite di output, quindi il codice ora riprova con un limite più alto quando il motivo di fine generazione indica che l'output è stato troncato.

Uno sviluppatore che genera una riga di dialogo alla volta utilizza la sequenza di arresto 'User:' in modo che il modello non continui a scrivere anche la riga successiva dell'utente.

Un team che passa a un modello di ragionamento scopre che le risposte tornano vuote perché il ragionamento nascosto ha esaurito il limite di output, quindi aumentano il limite per lasciare spazio sia al ragionamento che alla risposta.

Il futuro di Max Tokens e Sequenze di Arresto

I limiti di output sono cresciuti man mano che i modelli supportano generazioni più lunghe, e le funzionalità di output strutturato che vincolano le risposte a uno schema riducono, ma non eliminano, il rischio di troncamento, poiché una risposta sufficientemente lunga può comunque raggiungere il limite. I modelli di ragionamento hanno reso la gestione del budget di output più importante perché i token nascosti condividono ora lo stesso limite. I nomi dei parametri e i valori dei motivi di fine generazione variano tra i provider e sono cambiati nel tempo, quindi è sensato consultare la documentazione attuale e incapsulare questi dettagli in un piccolo livello del proprio codice.

Metterlo in pratica

Perché è importante

  • Costo e budget. Le decisioni relative all'architettura determinano prestazioni e costi operativi per anni.
  • Decisioni più chiare. La formazione tecnica aiuta i team a scegliere lo stack giusto, non solo quello più nuovo.
  • Controllo di qualità. Migliori scelte ingegneristiche riducono gli incidenti legati all’affidabilità nella produzione.

Attenzione

  • L'ottimizzazione di un benchmark può nascondere debolezze di sistema più ampie.
  • I costi delle infrastrutture e della manutenzione sono spesso sottostimati.
  • Le lacune in termini di sicurezza e osservabilità possono aumentare man mano che i sistemi diventano più complessi.

Prossimi passi

  1. Definire obiettivi di latenza, qualità e costi prima dell'implementazione.
  2. Benchmark in condizioni di carico e dati realistiche.
  3. Monitoraggio dello strumento per errori, deriva e impatto sull'utente.
  4. Preparare percorsi di rollback e risposta agli incidenti prima della scalabilità.

Continua a esplorare

Newsletter gratuita

Ricevi il briefing quotidiano sull'IA

Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.

Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.

Mettiti alla prova

Fai il quiz su Max Tokens e Sequenze di Arresto

Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.

Inizia il quiz

Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione

Domande frequenti

Che cos'è Max Tokens e Sequenze di Arresto?

Max tokens è il limite massimo di token che un modello può generare in una singola risposta, e le sequenze di arresto sono stringhe che interrompono la generazione non appena il modello le produce. Insieme al motivo di fine generazione restituito dall'API, determinano dove termina una risposta e indicano se è terminata naturalmente o se è stata interrotta. Impostarli correttamente previene JSON troncati, risposte incomplete e spreco di risorse.

Cosa limita max tokens?

Max tokens limita l'output per una singola chiamata. La finestra di contesto è il limite totale separato che copre input e output.

La tua chiamata restituisce un motivo di fine generazione 'length' nell'API di OpenAI. Cosa è successo?

'length' significa che la generazione si è fermata perché è stato raggiunto il limite di output, quindi la risposta potrebbe essere incompleta.

Quale stop_reason di Anthropic indica che il modello ha deciso che la sua risposta era completa?

'end_turn' significa che il modello si è fermato naturalmente. 'max_tokens' significa che è stato interrotto, e 'stop_sequence' significa che una delle tue stringhe è stata trovata.

Perché impostare un valore basso per max tokens non rende le risposte concise?

Il limite è un arresto forzato, non un'istruzione. Chiedi concisione nel prompt e mantieni il limite come limite di sicurezza.

La sequenza di arresto trovata viene normalmente inclusa nel testo restituito?

Le sequenze di arresto interrompono la generazione e tipicamente non sono incluse nell'output restituito, quindi il tuo codice non dovrebbe fare affidamento sul vederle.