Terme du glossaire IA

Qu’est-ce que Jeton ?

Définition

Morceau de texte traité par des modèles de langage, tel qu'un mot ou un symbole.

Parcourez le glossaire complet de l'IAExplorez tous les guides gratuits sur l'IA

Termes associés

IA générativeSystèmes d'IA qui produisent de nouveaux contenus tels que du texte, des images, de l'audio, de la vidéo ou du code.Grand modèle linguistique (LLM)Un modèle de langage formé sur des corpus de textes massifs pour générer et analyser du texte.Modèle multimodalUn modèle capable de traiter ou de générer plusieurs types de données tels que du texte, des images et de l'audio.PhrasePièceUn tokenizer indépendant de la langue qui apprend les unités de sous-mots directement à partir du texte brut sans pré-diviser sur les espaces.GSM8KUne référence de problèmes de mots mathématiques à l'école primaire utilisée pour évaluer le raisonnement étape par étape dans les modèles de langage.TokenisationLe processus de division du texte en jetons pour la saisie du modèle.

Apprenez-en davantage dans nos guides gratuits

SentencePiece TokenizationWordPiece TokenizationTokenizer-Free Byte-Level ModelsSpeculative Streaming and Multi-Token Prediction

Voir aussi

TemperatureSystem PromptTool UseSynthetic DataTop-k SamplingSupervised LearningTop-p (Nucleus) SamplingSparse Model