LegközelebbKövetkező útmutató
Nyelvi modellezés
Nyelvi AI
Nyelvi AI ÚTMUTATÓ
Masked language modeling (MLM) trains a bidirectional encoder to predict selected input tokens from surrounding context.
Hallgassa meg ezt az útmutatótAI-narrált · ~1 min
BERT uses a token-corruption scheme; later methods alter the masking or prediction objective.
BERT’s pretraining combines masked language modeling with a sentence-pair objective in its original formulation. For MLM, selected tokens are hidden or altered and the model predicts the original tokens using both left and right context. RoBERTa removes the next-sentence prediction objective in its experiments and uses dynamic masking. ELECTRA instead trains a discriminator to classify original versus generator-replaced tokens. These approaches differ in objective, data handling and model design.
BERT masks selected token positions and computes prediction loss for those positions.
RoBERTa uses dynamic masking so selected positions can vary across passes.
ELECTRA trains a discriminator to detect tokens replaced by a generator.
Compare MLM with autoregressive next-token training, which uses a causal context.
Choose a pretraining objective based on the model’s intended use and available compute/data. Report tokenizer, masking policy and evaluation tasks. MLM’s bidirectional context supports representation learning, while autoregressive training naturally matches left-to-right generation; neither objective is universally best.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
Masked language modeling (MLM) trains a bidirectional encoder to predict selected input tokens from surrounding context. BERT uses a token-corruption scheme; later methods alter the masking or prediction objective.
Az MLM elrejti a tokenek egy részét, és megtanítja a modellt, hogy helyreállítsa azokat a bal és a jobb kontextus használatával.
A BERT a bemeneti tokenek hozzávetőleg 15%-át takarja el, ami egyensúly a kellő jel adása és a kellő kontextus elhagyása között.
A Transformer kódoló nem kauzális önfigyelést használ, így minden token láthatja az összes többit mindkét oldalon.
A robusztusság javítása érdekében a maszkolt pozíciók 10%-a véletlenszerű tokenre cserélődik, 10%-a pedig változatlan marad.
A keresztentrópia elvesztése csak a maszkolt pozíciókra vonatkozik, összehasonlítva az előrejelzéseket az eredeti tokenazonosítókkal.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Nyelvi modellezés
Nyelvi AI