Terme du glossaire IA

Qu’est-ce que Tokenisation ?

Définition

Le processus de division du texte en jetons pour la saisie du modèle.

Parcourez le glossaire complet de l'IAExplorez tous les guides gratuits sur l'IA

Termes associés

Fenêtre contextuelleNombre maximum de jetons d'entrée qu'un modèle de langage peut traiter simultanément.BPE (codage par paire d'octets)Un algorithme de tokenisation de sous-mots qui fusionne les paires de caractères les plus fréquentes en jetons réutilisables.EncodeurLe composant d'un modèle qui transforme les entrées en représentations latentes.Modèle multimodalUn modèle capable de traiter ou de générer plusieurs types de données tels que du texte, des images et de l'audio.OCR (reconnaissance optique de caractères)Technologie qui convertit le texte des images ou le numérise en texte lisible par machine.PhrasePièceUn tokenizer indépendant de la langue qui apprend les unités de sous-mots directement à partir du texte brut sans pré-diviser sur les espaces.

Apprenez-en davantage dans nos guides gratuits

SentencePiece TokenizationWordPiece TokenizationTokenizationSubword Tokenization

Voir aussi

TokenTool UseTemperatureTop-k SamplingSystem PromptTop-p (Nucleus) SamplingSynthetic DataTransfer Learning