Zum Inhalt springen
Lernen
News
Tools
Jobs
Mission
Suchen
⌘K
English
Spenden
Menü
Beginnen Sie hier
Fangen Sie an zu lernen
Lernen
Gehe zu Lernen
Kurse
Leitfäden
KI-Tutor
Prompt-Bibliothek
Quiz
Zertifikat
Glossar
News
Gehe zu News
Aktuelle KI-Neuigkeiten
Themen-Tracker
Forschung & Datensätze
Blog
Redaktionelle Standards
Korrekturen
Tools
Gehe zu Tools
Werkzeugverzeichnis
Best-of-Listen
Vergleichen Sie Werkzeuge
Kostenrechner
Prompt-Raffinerie
Tool einreichen
Jobs
Gehe zu Jobs
Durchsuchen Sie KI-Jobs
Einen Job veröffentlichen
Sponsor AIU
Mission
Gehe zu Mission
Mission
Auswirkungen und Statistiken
Autoren
Hilfecenter
Was ist neu?
Hilfe
Spenden
Zuhause
/
Glossar
/
Tokenisierung
KI-Glossarbegriff
Was ist
Tokenisierung
?
Definition
Der Prozess der Aufteilung von Text in Token zur Modelleingabe.
Verwandte Begriffe
Kontextfenster
Die maximale Anzahl an Eingabetokens, die ein Sprachmodell gleichzeitig verarbeiten kann.
BPE (Byte-Paar-Kodierung)
Ein Unterwort-Tokenisierungsalgorithmus, der die häufigsten Zeichenpaare in wiederverwendbaren Token zusammenführt.
Encoder
Die Komponente eines Modells, die Eingaben in latente Darstellungen umwandelt.
Multimodales Modell
Ein Modell, das mehrere Datentypen wie Text, Bild und Audio verarbeiten oder generieren kann.
OCR (Optische Zeichenerkennung)
Technologie, die Text in Bildern oder Scans in maschinenlesbaren Text umwandelt.
Satzstück
Ein sprachunabhängiger Tokenizer, der Unterworteinheiten direkt aus Rohtext lernt, ohne vorher in Leerzeichen aufzuteilen.
Erfahren Sie mehr in unseren kostenlosen Ratgebern
SentencePiece Tokenization
WordPiece Tokenization
Tokenization
Subword Tokenization
See also
Token
Tool Use
Temperature
Top-k Sampling
System Prompt
Top-p (Nucleus) Sampling
Synthetic Data
Transfer Learning
Previous
Token
Next
Tool Use
Durchsuchen Sie das vollständige KI-Glossar
Entdecken Sie alle kostenlosen KI-Anleitungen