Il prossimoProssima guida
Modellazione del linguaggio
Intelligenza artificiale linguistica
GUIDA ALL'AI linguistica
Masked language modeling (MLM) trains a bidirectional encoder to predict selected input tokens from surrounding context.
Ascolta questa guidaNarrato dall'IA · ~1 min
BERT uses a token-corruption scheme; later methods alter the masking or prediction objective.
BERT’s pretraining combines masked language modeling with a sentence-pair objective in its original formulation. For MLM, selected tokens are hidden or altered and the model predicts the original tokens using both left and right context. RoBERTa removes the next-sentence prediction objective in its experiments and uses dynamic masking. ELECTRA instead trains a discriminator to classify original versus generator-replaced tokens. These approaches differ in objective, data handling and model design.
BERT masks selected token positions and computes prediction loss for those positions.
RoBERTa uses dynamic masking so selected positions can vary across passes.
ELECTRA trains a discriminator to detect tokens replaced by a generator.
Compare MLM with autoregressive next-token training, which uses a causal context.
Choose a pretraining objective based on the model’s intended use and available compute/data. Report tokenizer, masking policy and evaluation tasks. MLM’s bidirectional context supports representation learning, while autoregressive training naturally matches left-to-right generation; neither objective is universally best.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Masked language modeling (MLM) trains a bidirectional encoder to predict selected input tokens from surrounding context. BERT uses a token-corruption scheme; later methods alter the masking or prediction objective.
MLM nasconde una frazione di token e addestra il modello a recuperarli utilizzando sia il contesto sinistro che quello destro.
BERT maschera circa il 15% dei token di input, un equilibrio tra dare abbastanza segnale e lasciare abbastanza contesto.
Il codificatore Transformer utilizza l'autoattenzione non causale, quindi ogni token può vedere tutti gli altri su entrambi i lati.
Per migliorare la robustezza, il 10% delle posizioni mascherate viene scambiato con un token casuale e il 10% viene lasciato invariato.
La perdita di entropia incrociata viene applicata solo alle posizioni mascherate, confrontando le previsioni con gli ID dei token originali.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Modellazione del linguaggio
Intelligenza artificiale linguistica