What is Token? Definition | AI Understanding

Definizione

Una porzione di testo elaborata da modelli linguistici, ad esempio una parola o un simbolo.

Termini correlati

Sistemi di intelligenza artificiale che producono nuovi contenuti come testo, immagini, audio, video o codice.

Modello linguistico di grandi dimensioni (LLM)

Un modello linguistico addestrato su enormi corpora di testo per generare e analizzare testo.

Modello multimodale

Un modello in grado di elaborare o generare più tipi di dati come testo, immagine e audio.

Un tokenizzatore indipendente dalla lingua che apprende le unità delle sottoparole direttamente dal testo non elaborato senza pre-divisione negli spazi bianchi.

Un punto di riferimento per i problemi di parole matematiche delle scuole elementari utilizzato per valutare il ragionamento passo dopo passo nei modelli linguistici.

Il processo di suddivisione del testo in token per l'input del modello.

Scopri di più nelle nostre guide gratuite

SentencePiece Tokenization WordPiece Tokenization Tokenizer-Free Byte-Level Models Speculative Streaming and Multi-Token Prediction

Vedi anche

Temperature System Prompt Tool Use Synthetic Data Top-k Sampling Supervised Learning Top-p (Nucleus) Sampling Sparse Model

Sfoglia il glossario completo dell'intelligenza artificiale Esplora tutte le guide gratuite sull'intelligenza artificiale