Gå til innhold
Lær
Nyheter
Verktøy
Jobber
Oppdrag
Søk
⌘K
English
Doner
Meny
×
Start her
Begynn å lære
Lær
Gå til Lær
Kurs
Guider
AI-veileder
Prompt library
Quiz
Sertifikat
Ordliste
Nyheter
Gå til Nyheter
Siste AI-nyheter
Emnesporere
Research & datasets
Blog
Redaksjonelle standarder
Rettelser
Verktøy
Gå til Verktøy
Verktøykatalog
Best-of-lister
Sammenlign verktøy
Cost calculator
Spør Refiner
Send verktøy
Jobber
Gå til Jobber
Bla gjennom AI-jobber
Legg ut en jobb
Sponsor AIU
Oppdrag
Gå til Oppdrag
Oppdrag
Effekt og statistikk
Forfattere
Help centre
What's new
Støtte
Doner
Hjem
/
Ordliste
/
Tokenisering
AI Ordliste Term
Hva er
Tokenisering
?
Definisjon
Prosessen med å dele opp tekst i tokens for modellinndata.
Relaterte vilkår
Kontekstvindu
Maksimal mengde input-tokens en språkmodell kan behandle på en gang.
BPE (byteparkoding)
En underordstokeniseringsalgoritme som slår sammen de hyppigste tegnparene til gjenbrukbare tokens.
Enkoder
Komponenten i en modell som transformerer input til latente representasjoner.
Multimodal modell
En modell som kan behandle eller generere flere datatyper som tekst, bilde og lyd.
OCR (Optical Character Recognition)
Teknologi som konverterer tekst i bilder eller skanner til maskinlesbar tekst.
Setningsstykke
En språkagnostisk tokenizer som lærer underordenheter direkte fra rå tekst uten å forhåndssplitte på mellomrom.
Lær mer i våre gratis guider
SentencePiece Tokenization
WordPiece Tokenization
Tokenization
Subword Tokenization
Se også
Token
Tool Use
Temperature
Top-k Sampling
System Prompt
Top-p (Nucleus) Sampling
Synthetic Data
Transfer Learning
Previous
Token
Next
Tool Use
Bla gjennom hele AI-ordlisten
Utforsk alle gratis AI-guider