āļāđāļāđāļāļāļģāđāļāļ°āļāļģāļāđāļāđāļ
āļāļēāļĢāļŠāļĢāđāļēāļāđāļāļāļāļģāļĨāļāļāļ āļēāļĐāļē
āļ āļēāļĐāļēāđāļāđāļ
āļāļđāđāļĄāļ·āļ AI āļ āļēāļĐāļē
Masked language modeling (MLM) trains a bidirectional encoder to predict selected input tokens from surrounding context.
āļāļąāļāļāļģāđāļāļ°āļāļģāļāļĩāđāļāļĢāļĢāļĒāļēāļĒāđāļāļĒ AI · ~1 min
BERT uses a token-corruption scheme; later methods alter the masking or prediction objective.
BERTâs pretraining combines masked language modeling with a sentence-pair objective in its original formulation. For MLM, selected tokens are hidden or altered and the model predicts the original tokens using both left and right context. RoBERTa removes the next-sentence prediction objective in its experiments and uses dynamic masking. ELECTRA instead trains a discriminator to classify original versus generator-replaced tokens. These approaches differ in objective, data handling and model design.
BERT masks selected token positions and computes prediction loss for those positions.
RoBERTa uses dynamic masking so selected positions can vary across passes.
ELECTRA trains a discriminator to detect tokens replaced by a generator.
Compare MLM with autoregressive next-token training, which uses a causal context.
Choose a pretraining objective based on the modelâs intended use and available compute/data. Report tokenizer, masking policy and evaluation tasks. MLMâs bidirectional context supports representation learning, while autoregressive training naturally matches left-to-right generation; neither objective is universally best.
āļāļāļŦāļĄāļēāļĒāļāđāļēāļ§āļāļĢāļĩ
āđāļĢāļ·āđāļāļāļĢāļēāļ§ AI āļāļĩāđāļāļĢāļ§āļāļŠāļāļāđāļĨāđāļ§ 3 āđāļĢāļ·āđāļāļāļāļļāļāļ§āļąāļāļāļģāļāļēāļ āđāļāđāļē, āđāļāļĩāļĒāļāđāļāđāļāļ āļēāļĐāļēāļāļąāļāļāļĪāļĐāļāļĢāļĢāļĄāļāļē āļāļĢāļĩāļāļĨāļāļāđāļ āđāļĄāđāļĄāļĩāđāļāļĐāļāļē
āļāļĩāđāļĄāļĨāļŦāļāļķāđāļāļāļāļąāļāļāļļāļāļ§āļąāļāļāļģāļāļēāļ āļĒāļāđāļĨāļīāļāļāļēāļĢāļŠāļĄāļąāļāļĢāđāļāļāļĨāļīāļāđāļāļĩāļĒāļ§ āđāļĢāļēāđāļĄāđāđāļāļĒāļāļēāļĒāļŦāļĢāļ·āļāđāļāļĢāđāļāļĩāđāļāļĒāļđāđāļāļĩāđāļĄāļĨāļāļāļāļāļļāļ
āļāļāļŠāļāļāļāļąāļ§āđāļāļ
āļāđāļāđāļŠāļāļāđāļāļ°āļāļąāļāļāļĩāļŠāļģāļŦāļĢāļąāļāļāļļāļāļāļģāļāļāļ āđāļĨāļ°āđāļāļĢāļąāļāļĢāļāļāļāļĩāđāļŠāļēāļĄāļēāļĢāļāđāļāļĢāđāđāļāđāļāļĢāđāļāļĄ ID āļāļĩāđāļāļĢāļ§āļāļŠāļāļāđāļāđāđāļĄāļ·āđāļāļāļļāļāļāđāļēāļāļŦāļĨāļąāļāļŠāļđāļāļĢ
āļŠāļāļąāļāļŠāļāļļāļāļāļēāļĢāļĻāļķāļāļĐāļē AI āļāļĢāļĩ AI Understanding āđāļāđāļāļāļāļāđāļāļĢāđāļĄāđāđāļŠāļ§āļāļŦāļēāļāļĨāļāļģāđāļĢ 501(c)(3) â āđāļĄāđāļĄāļĩāđāļāļĐāļāļē āđāļĄāđāļĄāļĩāļāļģāđāļāļāđāļāļīāļ, āļāļĨāļāļāđāļ āļāļĢāļīāļāļēāļ
Masked language modeling (MLM) trains a bidirectional encoder to predict selected input tokens from surrounding context. BERT uses a token-corruption scheme; later methods alter the masking or prediction objective.
MLM āļāđāļāļāđāļāđāļāđāļāļāļēāļāļŠāđāļ§āļāđāļĨāļ°āļāļķāļāđāļĄāđāļāļĨāđāļāļ·āđāļāļāļđāđāļāļ·āļāđāļāđāļāđāļāđāļŦāļĨāđāļēāļāļąāđāļāđāļāļĒāđāļāđāļāļĢāļīāļāļāļāļąāđāļāļāđāļēāļĒāđāļĨāļ°āļāļ§āļē
BERT āļāļīāļāļāļąāļāđāļāđāļāđāļāļāļīāļāļāļļāļāļāļĢāļ°āļĄāļēāļ 15% āļāļķāđāļāđāļāđāļāļāļ§āļēāļĄāļŠāļĄāļāļļāļĨāļĢāļ°āļŦāļ§āđāļēāļāļāļēāļĢāđāļŦāđāļŠāļąāļāļāļēāļāļāļĩāđāđāļāļĩāļĒāļāļāļāđāļĨāļ°āļāļēāļĢāļāļĨāđāļāļĒāđāļŦāđāļāļĢāļīāļāļāđāļāļĩāļĒāļāļāļ
āļāļąāļ§āđāļāđāļēāļĢāļŦāļąāļŠ Transformer āđāļāđāļāļēāļĢāđāļāļēāđāļāđāļŠāđāļāļāđāļāļāđāļāļĒāđāļĄāđāļāļąāđāļāđāļ āļāļąāļāļāļąāđāļāļāļļāļāđāļāđāļāđāļāļāļķāļāļŠāļēāļĄāļēāļĢāļāļĄāļāļāđāļŦāđāļāđāļāđāļāđāļāļāļ·āđāļāđ āļāļąāđāļāļŦāļĄāļāđāļāđāļāļąāđāļāļŠāļāļāļāđāļēāļ
āđāļāļ·āđāļāļāļĢāļąāļāļāļĢāļļāļāļāļ§āļēāļĄāļāļāļāļēāļ āļāļģāđāļŦāļāđāļāļāļĩāđāļāļīāļāļāļąāļ 10% āļāļ°āļāļđāļāļŠāļĨāļąāļāđāļāđāļāđāļāđāļāđāļāđāļāļāļŠāļļāđāļĄ āđāļĨāļ° 10% āļāļ°āđāļĄāđāļĄāļĩāļāļēāļĢāđāļāļĨāļĩāđāļĒāļāđāļāļĨāļ
āļāļēāļĢāļŠāļđāļāđāļŠāļĩāļĒāđāļāļāđāļāļĢāļāļĩāļāđāļēāļĄāļāļ°āđāļāđāļāļąāļāļāļģāđāļŦāļāđāļāļāļĩāđāļāļīāļāļāļąāļāđāļāđāļēāļāļąāđāļ āđāļāļĒāđāļāļĢāļĩāļĒāļāđāļāļĩāļĒāļāļāļēāļĢāļāļēāļāļāļēāļĢāļāđāļāļąāļāļĢāļŦāļąāļŠāđāļāđāļāđāļāļāļąāđāļāđāļāļīāļĄ
āđāļĢāļĩāļĒāļāļĢāļđāđāļāđāļāđāļ
āļāļģāđāļāļ°āļāļģāđāļāļīāđāļĄāđāļāļīāļĄāļāļĩāđāđāļĨāļ·āļāļāļŠāļģāļŦāļĢāļąāļāļŦāļąāļ§āļāđāļāļāļĩāđ
āļāđāļāđāļāļāļģāđāļāļ°āļāļģāļāđāļāđāļ
āļāļēāļĢāļŠāļĢāđāļēāļāđāļāļāļāļģāļĨāļāļāļ āļēāļĐāļē
āļ āļēāļĐāļēāđāļāđāļ