AI Ordlista Term

Vad är Tokenisering?

Definition

Processen att dela upp text i tokens för modellinmatning.

Relaterade termer

Kontextfönster
Den maximala mängden inmatningstoken en språkmodell kan bearbeta på en gång.
BPE (byteparkodning)
En underordstokeniseringsalgoritm som slår samman de vanligaste karaktärsparen till återanvändbara tokens.
Encoder
Komponenten i en modell som omvandlar input till latenta representationer.
Multimodal modell
En modell som kan bearbeta eller generera flera datatyper som text, bild och ljud.
OCR (Optical Character Recognition)
Teknik som konverterar text i bilder eller skannar till maskinläsbar text.
Meningsstycke
En språkagnostisk tokenizer som lär sig underordsenheter direkt från råtext utan fördelning på blanksteg.

Läs mer i våra kostnadsfria guider

SentencePiece TokenizationWordPiece TokenizationTokenizationSubword Tokenization

See also

TokenTool UseTemperatureTop-k SamplingSystem PromptTop-p (Nucleus) SamplingSynthetic DataTransfer Learning
Bläddra i hela AI-ordlistanUtforska alla gratis AI-guider