Codage par paire d'octets
Byte-Pair Encoding (BPE) est un algorithme inspiré de la compression qui crée un vocabulaire en fusionnant à plusieurs reprises la paire de symboles la plus fréquente.
Aperçu
C’est le jetoniseur derrière les modèles GPT, équilibrant de minuscules vocabulaires de caractères avec d’immenses vocabulaires de mots entiers.
Plongée profonde
BPE commence par traiter le texte comme une séquence de caractères individuels (ou d'octets bruts). Il compte ensuite chaque paire de symboles adjacentes, fusionne la paire la plus fréquente en un nouveau jeton et répète cette opération des milliers de fois. Chaque fusion est enregistrée en règle générale. Les séquences de lettres courantes comme « th », « ing » ou des mots fréquents entiers deviennent progressivement des jetons uniques, tandis que les mots rares restent divisés en morceaux plus petits. À l'origine une méthode de compression de données datant de 1994, elle a été adaptée à la PNL par Sennrich et al. en 2016 pour la traduction automatique. GPT-2 et GPT-4 utilisent un BPE au niveau de l'octet, qui fonctionne sur des octets UTF-8 afin que tout caractère, emoji ou langue puisse toujours être codé sans aucun échec hors vocabulaire.
Aperçu technique
La formation BPE produit une liste ordonnée de règles de fusion. Pour tokeniser un nouveau texte, l'algorithme le divise en octets/caractères et applique les fusions avec avidité dans le même ordre de priorité jusqu'à ce qu'aucune règle ne corresponde. Le BPE au niveau octet garantit une solution de repli : même un symbole invisible se décompose en ses octets constitutifs, de sorte que le vocabulaire de 256 octets plus les fusions apprises couvre tout sans jeton UNK.
Impact stratégique
Vitesse et échelle
Les flux de travail linguistiques peuvent évoluer plus rapidement sans sacrifier la cohérence.
Accès et portée
Il étend l’accès à toutes les langues et styles de communication.
Décisions plus claires
Les équipes peuvent consacrer plus de temps au jugement tandis que l’automatisation gère les répétitions.
L'avenir du codage par paires d'octets
BPE reste le tokenizer le plus performant, mais la pression augmente vers des modèles au niveau des octets ou des caractères qui ignorent la tokenisation explicite, évitant ainsi les bizarreries telles que les divisions maladroites dans le code, les mathématiques ou les scripts non anglais. La recherche sur les architectures sans jetons et sur les tokeniseurs appris vise à corriger les préjugés du BPE. Néanmoins, sa vitesse et son efficacité de compression signifient que les vocabulaires de type BPE alimenteront la plupart des LLM de production dans un avenir proche.
Mise en œuvre dans le monde réel
GPT-2 et GPT-4 utilisent le BPE au niveau de l'octet afin que tout caractère Unicode ou emoji puisse être codé sans erreur.
Les systèmes de traduction automatique utilisent BPE pour diviser les mots rares ou composés en sous-mots réutilisables partagés dans plusieurs langues.
La bibliothèque de tokeniseurs de Hugging Face forme les vocabulaires BPE pour des domaines personnalisés tels que les textes biomédicaux ou juridiques.
Les modèles de code tokenisent les identifiants et les mots-clés avec BPE, fusionnant les modèles fréquents tels que « def » ou « == » en jetons uniques.
Risques et garde-fous
Les faits hallucinés peuvent discrètement entrer dans des rapports, des flux de support ou des résultats de recherche.
La sensibilité des invites peut créer des résultats incohérents pour des demandes similaires.
Les données textuelles sensibles peuvent être exposées si les contrôles d’accès sont faibles.
Feuille de route de mise en œuvre
Définissez le format de sortie, le ton et les normes de qualité avant le déploiement.
Établissez des réponses auprès de sources fiables chaque fois que la précision est importante.
Gardez un point de contrôle d’examen humain pour les résultats à enjeux élevés.
Suivez les modèles de défaillance et recyclez régulièrement les invites ou les flux de travail.
Continuez à explorer
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Byte-Pair Encoding quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Guide suivant
Tokenisation et codage de paires d'octets
Questions fréquemment posées
Qu’est-ce que l’encodage par paires d’octets ?
Byte-Pair Encoding (BPE) est un algorithme inspiré de la compression qui crée un vocabulaire en fusionnant à plusieurs reprises la paire de symboles la plus fréquente. Il s'agit du tokeniseur derrière les modèles GPT, équilibrant de minuscules vocabulaires de caractères et d'énormes vocabulaires de mots entiers.
Quelle est l’opération principale que BPE répète pour construire son vocabulaire ?
BPE compte les paires de symboles adjacentes et fusionne le plus fréquent en un nouveau jeton, en se répétant des milliers de fois.
Comment BPE traite-t-il le texte au début de la formation ?
BPE commence à partir des plus petites unités (caractères ou octets bruts) et augmente la taille des jetons grâce à des fusions.
Pourquoi le BPE au niveau de l'octet évite-t-il les erreurs UNK (hors vocabulaire) ?
Étant donné que le vocabulaire de base comprend les 256 octets, même les symboles invisibles reviennent à leur représentation en octets.
D’où vient l’algorithme BPE avant que la PNL ne l’adopte ?
Le BPE a été introduit comme technique de compression de données en 1994, puis adapté pour la tokenisation des sous-mots en 2016.
Lors de la tokenisation d'un nouveau texte, comment BPE applique-t-il ses règles apprises ?
Les règles de fusion sont ordonnées et la tokenisation les applique avidement par priorité jusqu'à ce qu'aucune autre règle ne corresponde.