Qu'est-ce que Tokenisation?

Nombre maximum de jetons d'entrée qu'un modèle de langage peut traiter simultanément.

Un algorithme de tokenisation de sous-mots qui fusionne les paires de caractères les plus fréquentes en jetons réutilisables.

Le composant d'un modèle qui transforme les entrées en représentations latentes.

Un modèle capable de traiter ou de générer plusieurs types de données tels que du texte, des images et de l'audio.

Technologie qui convertit le texte des images ou le numérise en texte lisible par machine.

Un tokenizer indépendant de la langue qui apprend les unités de sous-mots directement à partir du texte brut sans pré-diviser sur les espaces.