Terme du glossaire IA

Qu'est-ce que Jeton?

Définition

Morceau de texte traité par des modèles de langage, tel qu'un mot ou un symbole.

Termes associés

IA générative
Systèmes d'IA qui produisent de nouveaux contenus tels que du texte, des images, de l'audio, de la vidéo ou du code.
Grand modèle linguistique (LLM)
Un modèle de langage formé sur des corpus de textes massifs pour générer et analyser du texte.
Modèle multimodal
Un modèle capable de traiter ou de générer plusieurs types de données tels que du texte, des images et de l'audio.
PhrasePièce
Un tokenizer indépendant de la langue qui apprend les unités de sous-mots directement à partir du texte brut sans pré-diviser sur les espaces.
GSM8K
Une référence de problèmes de mots mathématiques à l'école primaire utilisée pour évaluer le raisonnement étape par étape dans les modèles de langage.
Tokenisation
Le processus de division du texte en jetons pour la saisie du modèle.

Apprenez-en davantage dans nos guides gratuits

SentencePiece TokenizationWordPiece TokenizationTokenizer-Free Byte-Level ModelsSpeculative Streaming and Multi-Token Prediction

Voir aussi

TemperatureSystem PromptTool UseSynthetic DataTop-k SamplingSupervised LearningTop-p (Nucleus) SamplingSparse Model
Parcourez le glossaire complet de l'IAExplorez tous les guides gratuits sur l'IA