AI Ordliste Term

Hva er Setningsstykke?

Definisjon

En språkagnostisk tokenizer som lærer underordenheter direkte fra rå tekst uten å forhåndssplitte på mellomrom.

Relaterte vilkår

KLIPP
En multimodal modellarkitektur som lærer delte representasjoner mellom tekst og bilder.
Kontinuerlig læring
Opplæringsmetoder som lar en modell fortsette å lære av nye data uten å glemme forkunnskaper.
Kontekstlæring
En modells evne til å følge mønstre fra eksempler gitt direkte i ledeteksten.
Hensiktsklassifisering
Forutsi brukerens formål fra en tekstspørring for å rute den riktig.
Stor språkmodell (LLM)
En språkmodell trent på massive tekstkorpus for å generere og analysere tekst.
Token
En tekstbit behandlet av språkmodeller, for eksempel et ordstykke eller symbol.

Lær mer i våre gratis guider

SentencePiece Tokenization

Se også

BPE (Byte Pair Encoding)ANN (Approximate Nearest Neighbor)Sliding Window AttentionHNSWALiBiRerankerRoPE (Rotary Positional Embeddings)Hybrid Search
Bla gjennom hele AI-ordlistenUtforsk alle gratis AI-guider