AI Ordlista Term

Vad är Meningsstycke?

Definition

En språkagnostisk tokenizer som lär sig underordsenheter direkt från råtext utan fördelning på blanksteg.

Relaterade termer

KLIPP
En multimodal modellarkitektur som lär sig delade representationer mellan text och bilder.
Kontinuerligt lärande
Utbildningsmetoder som låter en modell fortsätta att lära sig av ny data utan att glömma förkunskaper.
In-Context Learning
En modells förmåga att följa mönster från exempel som tillhandahålls direkt i prompten.
Avsiktsklassificering
Förutsäga användarens syfte från en textfråga för att dirigera den korrekt.
Stor språkmodell (LLM)
En språkmodell tränad på massiva textkorpus för att generera och analysera text.
Token
En bit text bearbetad av språkmodeller, till exempel en ordbit eller symbol.

Läs mer i våra kostnadsfria guider

SentencePiece Tokenization

See also

BPE (Byte Pair Encoding)ANN (Approximate Nearest Neighbor)Sliding Window AttentionHNSWALiBiRerankerRoPE (Rotary Positional Embeddings)Hybrid Search
Bläddra i hela AI-ordlistanUtforska alla gratis AI-guider