KI-Glossarbegriff

Was ist BPE (Byte-Paar-Kodierung)?

Definition

Ein Unterwort-Tokenisierungsalgorithmus, der die häufigsten Zeichenpaare in wiederverwendbaren Token zusammenführt.

Durchsuchen Sie das vollständige KI-GlossarEntdecken Sie alle kostenlosen KI-Anleitungen

Verwandte Begriffe

TokenisierungDer Prozess der Aufteilung von Text in Token zur Modelleingabe.OCR (Optische Zeichenerkennung)Technologie, die Text in Bildern oder Scans in maschinenlesbaren Text umwandelt.Top-K-ProbenahmeEine Dekodierungsstrategie, die nur die k wahrscheinlichsten nächsten Token abtastet.RückpropagationDer zentrale Trainingsalgorithmus, der Modellgewichte aktualisiert, indem er Vorhersagefehler rückwärts durch das Netzwerk weiterleitet.Bi‑EncoderEin Modell, das Abfragen und Dokumente in separate Vektoren kodiert, damit sie im großen Maßstab schnell verglichen werden können.StrahlsucheEin Dekodierungsalgorithmus, der bei jedem Schritt die besten Kandidatensequenzen beibehält, um Ausgaben mit höherer Wahrscheinlichkeit zu finden.

Erfahren Sie mehr in unseren kostenlosen Ratgebern

ByteDance DoubaoCycleGAN Unpaired TranslationTokenizer-Free Byte-Level ModelsInstant-NGP Hash Encoding

Siehe auch

Sliding Window AttentionSentencePieceALiBiANN (Approximate Nearest Neighbor)RoPE (Rotary Positional Embeddings)HNSWPositional EncodingReranker