What is Token? Definition | AI Understanding

Definitie

Een stuk tekst dat wordt verwerkt door taalmodellen, zoals een woordstuk of symbool.

Gerelateerde termen

AI-systemen die nieuwe inhoud produceren, zoals tekst, afbeeldingen, audio, video of code.

Groot taalmodel (LLM)

Een taalmodel dat is getraind op enorme tekstcorpora om tekst te genereren en te analyseren.

Multimodaal model

Een model dat meerdere gegevenstypen, zoals tekst, afbeeldingen en audio, kan verwerken of genereren.

Een taalonafhankelijke tokenizer die subwoordeenheden rechtstreeks uit onbewerkte tekst leert, zonder vooraf te splitsen op witruimte.

Een benchmark voor wiskundige woordproblemen op de basisschool, gebruikt om stapsgewijs redeneren in taalmodellen te evalueren.

Het proces waarbij tekst in tokens wordt gesplitst voor modelinvoer.

Lees meer in onze gratis handleidingen

SentencePiece Tokenization WordPiece Tokenization Tokenizer-Free Byte-Level Models Speculative Streaming and Multi-Token Prediction

See also

Temperature System Prompt Tool Use Synthetic Data Top-k Sampling Supervised Learning Top-p (Nucleus) Sampling Sparse Model

Blader door de volledige AI-woordenlijst Ontdek alle gratis AI-gidsen