Terme du glossaire IA

Qu’est-ce que PhrasePièce ?

Définition

Un tokenizer indépendant de la langue qui apprend les unités de sous-mots directement à partir du texte brut sans pré-diviser sur les espaces.

Parcourez le glossaire complet de l'IAExplorez tous les guides gratuits sur l'IA

Termes associés

AGRAFEUne architecture de modèle multimodale qui apprend les représentations partagées entre le texte et les images.Apprentissage continuDes approches de formation qui permettent à un modèle de continuer à apprendre de nouvelles données sans oublier les connaissances antérieures.Apprentissage en contexteCapacité d'un modèle à suivre des modèles à partir d'exemples fournis directement dans l'invite.Classification des intentionsPrédire l'objectif de l'utilisateur à partir d'une requête texte pour l'acheminer correctement.Grand modèle linguistique (LLM)Un modèle de langage formé sur des corpus de textes massifs pour générer et analyser du texte.JetonMorceau de texte traité par des modèles de langage, tel qu'un mot ou un symbole.

Apprenez-en davantage dans nos guides gratuits

SentencePiece Tokenization

Voir aussi

BPE (Byte Pair Encoding)ANN (Approximate Nearest Neighbor)Sliding Window AttentionHNSWALiBiRerankerRoPE (Rotary Positional Embeddings)Hybrid Search