Terme du glossaire IA

Qu’est-ce que BPE (codage par paire d'octets) ?

Définition

Un algorithme de tokenisation de sous-mots qui fusionne les paires de caractères les plus fréquentes en jetons réutilisables.

Parcourez le glossaire complet de l'IAExplorez tous les guides gratuits sur l'IA

Termes associés

TokenisationLe processus de division du texte en jetons pour la saisie du modèle.OCR (reconnaissance optique de caractères)Technologie qui convertit le texte des images ou le numérise en texte lisible par machine.Échantillonnage Top-kUne stratégie de décodage qui échantillonne uniquement à partir des k prochains jetons les plus probables.RétropropagationL'algorithme de formation de base qui met à jour les pondérations du modèle en propageant les erreurs de prédiction vers l'arrière à travers le réseau.Bi-EncodeurUn modèle qui code les requêtes et les documents dans des vecteurs distincts afin qu'ils puissent être comparés rapidement à grande échelle.Recherche de faisceauUn algorithme de décodage qui conserve les premières séquences candidates à chaque étape pour trouver des sorties à plus forte probabilité.

Apprenez-en davantage dans nos guides gratuits

ByteDance DoubaoCycleGAN Unpaired TranslationTokenizer-Free Byte-Level ModelsInstant-NGP Hash Encoding

Voir aussi

Sliding Window AttentionSentencePieceALiBiANN (Approximate Nearest Neighbor)RoPE (Rotary Positional Embeddings)HNSWPositional EncodingReranker