KI-Glossarbegriff

Was ist BPE (Byte-Paar-Kodierung)?

Definition

Ein Unterwort-Tokenisierungsalgorithmus, der die häufigsten Zeichenpaare in wiederverwendbaren Token zusammenführt.

Verwandte Begriffe

Tokenisierung
Der Prozess der Aufteilung von Text in Token zur Modelleingabe.
OCR (Optische Zeichenerkennung)
Technologie, die Text in Bildern oder Scans in maschinenlesbaren Text umwandelt.
Top-K-Probenahme
Eine Dekodierungsstrategie, die nur die k wahrscheinlichsten nächsten Token abtastet.
Rückpropagation
Der zentrale Trainingsalgorithmus, der Modellgewichte aktualisiert, indem er Vorhersagefehler rückwärts durch das Netzwerk weiterleitet.
Bi-Encoder
Ein Modell, das Abfragen und Dokumente in separate Vektoren kodiert, damit sie im großen Maßstab schnell verglichen werden können.
Strahlsuche
Ein Dekodierungsalgorithmus, der bei jedem Schritt die besten Kandidatensequenzen beibehält, um Ausgaben mit höherer Wahrscheinlichkeit zu finden.

Erfahren Sie mehr in unseren kostenlosen Ratgebern

ByteDance DoubaoCycleGAN Unpaired TranslationTokenizer-Free Byte-Level ModelsInstant-NGP Hash Encoding

See also

Sliding Window AttentionSentencePieceALiBiANN (Approximate Nearest Neighbor)RoPE (Rotary Positional Embeddings)HNSWPositional EncodingReranker
Durchsuchen Sie das vollständige KI-GlossarEntdecken Sie alle kostenlosen KI-Anleitungen