KI-Glossarbegriff

Was ist Tokenisierung?

Definition

Der Prozess der Aufteilung von Text in Token zur Modelleingabe.

Durchsuchen Sie das vollständige KI-GlossarEntdecken Sie alle kostenlosen KI-Anleitungen

Verwandte Begriffe

KontextfensterDie maximale Anzahl an Eingabetokens, die ein Sprachmodell gleichzeitig verarbeiten kann.BPE (Byte-Paar-Kodierung)Ein Unterwort-Tokenisierungsalgorithmus, der die häufigsten Zeichenpaare in wiederverwendbaren Token zusammenführt.EncoderDie Komponente eines Modells, die Eingaben in latente Darstellungen umwandelt.Multimodales ModellEin Modell, das mehrere Datentypen wie Text, Bild und Audio verarbeiten oder generieren kann.OCR (Optische Zeichenerkennung)Technologie, die Text in Bildern oder Scans in maschinenlesbaren Text umwandelt.SatzstückEin sprachunabhängiger Tokenizer, der Unterworteinheiten direkt aus Rohtext lernt, ohne vorher in Leerzeichen aufzuteilen.

Erfahren Sie mehr in unseren kostenlosen Ratgebern

SentencePiece TokenizationWordPiece TokenizationTokenizationSubword Tokenization

Siehe auch

TokenTool UseTemperatureTop-k SamplingSystem PromptTop-p (Nucleus) SamplingSynthetic DataTransfer Learning