KI-Glossarbegriff

Was ist Token?

Definition

Ein von Sprachmodellen verarbeiteter Textblock, beispielsweise ein Wortteil oder ein Symbol.

Durchsuchen Sie das vollständige KI-GlossarEntdecken Sie alle kostenlosen KI-Anleitungen

Verwandte Begriffe

Generative KIKI-Systeme, die neue Inhalte wie Texte, Bilder, Audio, Video oder Code produzieren.Großes Sprachmodell (LLM)Ein Sprachmodell, das auf umfangreichen Textkorpora trainiert wurde, um Text zu generieren und zu analysieren.Multimodales ModellEin Modell, das mehrere Datentypen wie Text, Bild und Audio verarbeiten oder generieren kann.SatzstückEin sprachunabhängiger Tokenizer, der Unterworteinheiten direkt aus Rohtext lernt, ohne vorher in Leerzeichen aufzuteilen.GSM8KEin Benchmark für mathematische Wortaufgaben in der Grundschule, der zur Bewertung des schrittweisen Denkens in Sprachmodellen verwendet wird.TokenisierungDer Prozess der Aufteilung von Text in Token zur Modelleingabe.

Erfahren Sie mehr in unseren kostenlosen Ratgebern

SentencePiece TokenizationWordPiece TokenizationTokenizer-Free Byte-Level ModelsSpeculative Streaming and Multi-Token Prediction

Siehe auch

TemperatureSystem PromptTool UseSynthetic DataTop-k SamplingSupervised LearningTop-p (Nucleus) SamplingSparse Model