āļ„āļđāđˆāļĄāļ·āļ­ AI āļ āļēāļĐāļē

āļāļēāļĢāļŠāļĢāđ‰āļēāļ‡āđāļšāļšāļˆāļģāļĨāļ­āļ‡āļ āļēāļĐāļēāļĄāļēāļŠāļāđŒ

Masked language modeling (MLM) trains a bidirectional encoder to predict selected input tokens from surrounding context.

āļŸāļąāļ‡āļ„āļģāđāļ™āļ°āļ™āļģāļ™āļĩāđ‰āļšāļĢāļĢāļĒāļēāļĒāđ‚āļ”āļĒ AI · ~1 min

āļšāļ™āļŦāļ™āđ‰āļēāļ™āļĩāđ‰āļ­āđˆāļēāļ™ 1 āļ™āļēāļ—āļĩ
  1. āļ āļēāļžāļĢāļ§āļĄ
  2. āđ€āļˆāļēāļ°āļĨāļķāļ
  3. āļāļēāļĢāđƒāļŠāđ‰āļ‡āļēāļ™āļˆāļĢāļīāļ‡āđƒāļ™āđ‚āļĨāļāđāļŦāđˆāļ‡āļ„āļ§āļēāļĄāđ€āļ›āđ‡āļ™āļˆāļĢāļīāļ‡
  4. āļ­āļ™āļēāļ„āļ•āļ‚āļ­āļ‡āļāļēāļĢāļŠāļĢāđ‰āļēāļ‡āđāļšāļšāļˆāļģāļĨāļ­āļ‡āļ āļēāļĐāļēāļŠāļ§āļĄāļŦāļ™āđ‰āļēāļāļēāļ
  5. āļāļēāļĢāļ™āļģāđ„āļ›āļ›āļāļīāļšāļąāļ•āļī
  6. āļŠāļģāļĢāļ§āļˆāļ•āđˆāļ­āđ„āļ›
  7. āļ„āļģāļ–āļēāļĄāļ—āļĩāđˆāļžāļšāļšāđˆāļ­āļĒ

āļ āļēāļžāļĢāļ§āļĄ

BERT uses a token-corruption scheme; later methods alter the masking or prediction objective.

āđ€āļˆāļēāļ°āļĨāļķāļ

BERT’s pretraining combines masked language modeling with a sentence-pair objective in its original formulation. For MLM, selected tokens are hidden or altered and the model predicts the original tokens using both left and right context. RoBERTa removes the next-sentence prediction objective in its experiments and uses dynamic masking. ELECTRA instead trains a discriminator to classify original versus generator-replaced tokens. These approaches differ in objective, data handling and model design.

āļāļēāļĢāđƒāļŠāđ‰āļ‡āļēāļ™āļˆāļĢāļīāļ‡āđƒāļ™āđ‚āļĨāļāđāļŦāđˆāļ‡āļ„āļ§āļēāļĄāđ€āļ›āđ‡āļ™āļˆāļĢāļīāļ‡

BERT masks selected token positions and computes prediction loss for those positions.

RoBERTa uses dynamic masking so selected positions can vary across passes.

ELECTRA trains a discriminator to detect tokens replaced by a generator.

Compare MLM with autoregressive next-token training, which uses a causal context.

āļ­āļ™āļēāļ„āļ•āļ‚āļ­āļ‡āļāļēāļĢāļŠāļĢāđ‰āļēāļ‡āđāļšāļšāļˆāļģāļĨāļ­āļ‡āļ āļēāļĐāļēāļŠāļ§āļĄāļŦāļ™āđ‰āļēāļāļēāļ

Choose a pretraining objective based on the model’s intended use and available compute/data. Report tokenizer, masking policy and evaluation tasks. MLM’s bidirectional context supports representation learning, while autoregressive training naturally matches left-to-right generation; neither objective is universally best.

āļāļēāļĢāļ™āļģāđ„āļ›āļ›āļāļīāļšāļąāļ•āļī

āļ—āļģāđ„āļĄāļĄāļąāļ™āļ–āļķāļ‡āļŠāļģāļ„āļąāļ

  • āļ„āļ§āļēāļĄāđ€āļĢāđ‡āļ§āđāļĨāļ°āļ‚āļ™āļēāļ”. āļ‚āļąāđ‰āļ™āļ•āļ­āļ™āļāļēāļĢāļ—āļģāļ‡āļēāļ™āļ‚āļ­āļ‡āļ āļēāļĐāļēāļŠāļēāļĄāļēāļĢāļ–āļ”āļģāđ€āļ™āļīāļ™āđ„āļ›āđ„āļ”āđ‰āđ€āļĢāđ‡āļ§āļ‚āļķāđ‰āļ™āđ‚āļ”āļĒāđ„āļĄāđˆāļāļĢāļ°āļ—āļšāļ•āđˆāļ­āļ„āļ§āļēāļĄāļŠāļĄāđˆāļģāđ€āļŠāļĄāļ­
  • āđ€āļ‚āđ‰āļēāļ–āļķāļ‡āđāļĨāļ°āđ€āļ‚āđ‰āļēāļ–āļķāļ‡. āļ‚āļĒāļēāļĒāļāļēāļĢāđ€āļ‚āđ‰āļēāļ–āļķāļ‡āļ āļēāļĐāļēāđāļĨāļ°āļĢāļđāļ›āđāļšāļšāļāļēāļĢāļŠāļ·āđˆāļ­āļŠāļēāļĢ
  • āļāļēāļĢāļ•āļąāļ”āļŠāļīāļ™āđƒāļˆāļ—āļĩāđˆāļŠāļąāļ”āđ€āļˆāļ™āļĒāļīāđˆāļ‡āļ‚āļķāđ‰āļ™. āļ—āļĩāļĄāļŠāļēāļĄāļēāļĢāļ–āđƒāļŠāđ‰āđ€āļ§āļĨāļēāļĄāļēāļāļ‚āļķāđ‰āļ™āđƒāļ™āļāļēāļĢāļ•āļąāļ”āļŠāļīāļ™ āđƒāļ™āļ‚āļ“āļ°āļ—āļĩāđˆāļĢāļ°āļšāļšāļ­āļąāļ•āđ‚āļ™āļĄāļąāļ•āļīāļˆāļąāļ”āļāļēāļĢāļāļąāļšāļāļēāļĢāļ—āļģāļ‹āđ‰āļģ

āļĢāļ°āļ§āļąāļ‡

  • āļ‚āđ‰āļ­āđ€āļ—āđ‡āļˆāļˆāļĢāļīāļ‡āļ—āļĩāđˆāļŦāļĨāļ­āļ™āļ›āļĢāļ°āļŠāļēāļ—āļŠāļēāļĄāļēāļĢāļ–āđ€āļ‚āđ‰āļēāļŠāļđāđˆāļĢāļēāļĒāļ‡āļēāļ™ āļāļĢāļ°āđāļŠāļŠāļ™āļąāļšāļŠāļ™āļļāļ™ āļŦāļĢāļ·āļ­āļœāļĨāļāļēāļĢāļ§āļīāļˆāļąāļĒāđ„āļ”āđ‰āļ­āļĒāđˆāļēāļ‡āđ€āļ‡āļĩāļĒāļšāđ†
  • āļ„āļ§āļēāļĄāļĨāļ°āđ€āļ­āļĩāļĒāļ”āļ­āđˆāļ­āļ™āļ‚āļ­āļ‡āļāļēāļĢāđāļˆāđ‰āļ‡āđ€āļ•āļ·āļ­āļ™āļŠāļēāļĄāļēāļĢāļ–āļŠāļĢāđ‰āļēāļ‡āļœāļĨāļĨāļąāļžāļ˜āđŒāļ—āļĩāđˆāđ„āļĄāđˆāļŠāļ­āļ”āļ„āļĨāđ‰āļ­āļ‡āļāļąāļ™āđƒāļ™āļ„āļģāļ‚āļ­āļ—āļĩāđˆāļ„āļĨāđ‰āļēāļĒāļāļąāļ™
  • āļ‚āđ‰āļ­āļĄāļđāļĨāļ‚āđ‰āļ­āļ„āļ§āļēāļĄāļ—āļĩāđˆāļĨāļ°āđ€āļ­āļĩāļĒāļ”āļ­āđˆāļ­āļ™āļ­āļēāļˆāļ–āļđāļāđ€āļ›āļīāļ”āđ€āļœāļĒāļŦāļēāļāļāļēāļĢāļ„āļ§āļšāļ„āļļāļĄāļāļēāļĢāđ€āļ‚āđ‰āļēāļ–āļķāļ‡āļ­āđˆāļ­āļ™āđāļ­

āļ‚āļąāđ‰āļ™āļ•āļ­āļ™āļ•āđˆāļ­āđ„āļ›

  1. āļāļģāļŦāļ™āļ”āļĢāļđāļ›āđāļšāļšāđ€āļ­āļēāļ•āđŒāļžāļļāļ• āđ‚āļ—āļ™āđ€āļŠāļĩāļĒāļ‡ āđāļĨāļ°āļĄāļēāļ•āļĢāļāļēāļ™āļ„āļļāļ“āļ āļēāļžāļāđˆāļ­āļ™āđ€āļ›āļīāļ”āļ•āļąāļ§
  2. āļāļēāļĢāļ•āļ­āļšāļŠāļ™āļ­āļ‡āļ āļēāļ„āļžāļ·āđ‰āļ™āļ”āļīāļ™āļāļąāļšāđāļŦāļĨāđˆāļ‡āļ‚āđ‰āļ­āļĄāļđāļĨāļ—āļĩāđˆāđ€āļŠāļ·āđˆāļ­āļ–āļ·āļ­āđ„āļ”āđ‰āđ€āļĄāļ·āđˆāļ­āđƒāļ”āļāđ‡āļ•āļēāļĄāļ—āļĩāđˆāļ„āļ§āļēāļĄāđāļĄāđˆāļ™āļĒāļģāļĄāļĩāļ„āļ§āļēāļĄāļŠāļģāļ„āļąāļ
  3. āļĢāļąāļāļĐāļēāļˆāļļāļ”āļ•āļĢāļ§āļˆāļŠāļ­āļšāļāļēāļĢāļ•āļĢāļ§āļˆāļŠāļ­āļšāđ‚āļ”āļĒāļĄāļ™āļļāļĐāļĒāđŒāļŠāļģāļŦāļĢāļąāļšāļœāļĨāļĨāļąāļžāļ˜āđŒāļ—āļĩāđˆāļĄāļĩāđ€āļ”āļīāļĄāļžāļąāļ™āļŠāļđāļ‡
  4. āļ•āļīāļ”āļ•āļēāļĄāļĢāļđāļ›āđāļšāļšāļ„āļ§āļēāļĄāļĨāđ‰āļĄāđ€āļŦāļĨāļ§āđāļĨāļ°āļāļķāļāļ­āļšāļĢāļĄāļžāļĢāđ‰āļ­āļĄāļ—āđŒāļŦāļĢāļ·āļ­āđ€āļ§āļīāļĢāđŒāļāđ‚āļŸāļĨāļ§āđŒāđ€āļ›āđ‡āļ™āļ›āļĢāļ°āļˆāļģ

āļŠāļģāļĢāļ§āļˆāļ•āđˆāļ­āđ„āļ›

āļˆāļ”āļŦāļĄāļēāļĒāļ‚āđˆāļēāļ§āļŸāļĢāļĩ

āļĢāļąāļšāļŠāļĢāļļāļ› AI āļĢāļēāļĒāļ§āļąāļ™

āđ€āļĢāļ·āđˆāļ­āļ‡āļĢāļēāļ§ AI āļ—āļĩāđˆāļ•āļĢāļ§āļˆāļŠāļ­āļšāđāļĨāđ‰āļ§ 3 āđ€āļĢāļ·āđˆāļ­āļ‡āļ—āļļāļāļ§āļąāļ™āļ—āļģāļ‡āļēāļ™ āđ€āļŠāđ‰āļē, āđ€āļ‚āļĩāļĒāļ™āđ€āļ›āđ‡āļ™āļ āļēāļĐāļēāļ­āļąāļ‡āļāļĪāļĐāļ˜āļĢāļĢāļĄāļ”āļē āļŸāļĢāļĩāļ•āļĨāļ­āļ”āđ„āļ› āđ„āļĄāđˆāļĄāļĩāđ‚āļ†āļĐāļ“āļē

āļ­āļĩāđ€āļĄāļĨāļŦāļ™āļķāđˆāļ‡āļ‰āļšāļąāļšāļ—āļļāļāļ§āļąāļ™āļ—āļģāļ‡āļēāļ™ āļĒāļāđ€āļĨāļīāļāļāļēāļĢāļŠāļĄāļąāļ„āļĢāđƒāļ™āļ„āļĨāļīāļāđ€āļ”āļĩāļĒāļ§ āđ€āļĢāļēāđ„āļĄāđˆāđ€āļ„āļĒāļ‚āļēāļĒāļŦāļĢāļ·āļ­āđāļŠāļĢāđŒāļ—āļĩāđˆāļ­āļĒāļđāđˆāļ­āļĩāđ€āļĄāļĨāļ‚āļ­āļ‡āļ„āļļāļ“

āļ—āļ”āļŠāļ­āļšāļ•āļąāļ§āđ€āļ­āļ‡

Take the Masked Language Modeling quiz

āļ‚āđ‰āļ­āđ€āļŠāļ™āļ­āđāļ™āļ°āļ—āļąāļ™āļ—āļĩāļŠāļģāļŦāļĢāļąāļšāļ—āļļāļāļ„āļģāļ•āļ­āļš āđāļĨāļ°āđƒāļšāļĢāļąāļšāļĢāļ­āļ‡āļ—āļĩāđˆāļŠāļēāļĄāļēāļĢāļ–āđāļŠāļĢāđŒāđ„āļ”āđ‰āļžāļĢāđ‰āļ­āļĄ ID āļ—āļĩāđˆāļ•āļĢāļ§āļˆāļŠāļ­āļšāđ„āļ”āđ‰āđ€āļĄāļ·āđˆāļ­āļ„āļļāļ“āļœāđˆāļēāļ™āļŦāļĨāļąāļāļŠāļđāļ•āļĢ

āđ€āļĢāļīāđˆāļĄāđāļšāļšāļ—āļ”āļŠāļ­āļš

āļŠāļ™āļąāļšāļŠāļ™āļļāļ™āļāļēāļĢāļĻāļķāļāļĐāļē AI āļŸāļĢāļĩ AI Understanding āđ€āļ›āđ‡āļ™āļ­āļ‡āļ„āđŒāļāļĢāđ„āļĄāđˆāđāļŠāļ§āļ‡āļŦāļēāļœāļĨāļāļģāđ„āļĢ 501(c)(3) — āđ„āļĄāđˆāļĄāļĩāđ‚āļ†āļĐāļ“āļē āđ„āļĄāđˆāļĄāļĩāļāļģāđāļžāļ‡āđ€āļ‡āļīāļ™, āļ•āļĨāļ­āļ”āđ„āļ› āļšāļĢāļīāļˆāļēāļ„

āļ„āļģāļ–āļēāļĄāļ—āļĩāđˆāļžāļšāļšāđˆāļ­āļĒ

What is Masked Language Modeling?

Masked language modeling (MLM) trains a bidirectional encoder to predict selected input tokens from surrounding context. BERT uses a token-corruption scheme; later methods alter the masking or prediction objective.

āļ‡āļēāļ™āļāļķāļāļ­āļšāļĢāļĄāļŦāļĨāļąāļāđƒāļ™āļāļēāļĢāļŠāļĢāđ‰āļēāļ‡āđāļšāļšāļˆāļģāļĨāļ­āļ‡āļ āļēāļĐāļēāļ—āļĩāđˆāļŠāļ§āļĄāļŦāļ™āđ‰āļēāļāļēāļāļ„āļ·āļ­āļ­āļ°āđ„āļĢ?

MLM āļ‹āđˆāļ­āļ™āđ‚āļ—āđ€āļ„āđ‡āļ™āļšāļēāļ‡āļŠāđˆāļ§āļ™āđāļĨāļ°āļāļķāļāđ‚āļĄāđ€āļ”āļĨāđ€āļžāļ·āđˆāļ­āļāļđāđ‰āļ„āļ·āļ™āđ‚āļ—āđ€āļ„āđ‡āļ™āđ€āļŦāļĨāđˆāļēāļ™āļąāđ‰āļ™āđ‚āļ”āļĒāđƒāļŠāđ‰āļšāļĢāļīāļšāļ—āļ—āļąāđ‰āļ‡āļ‹āđ‰āļēāļĒāđāļĨāļ°āļ‚āļ§āļē

āđ‚āļ”āļĒāļ—āļąāđˆāļ§āđ„āļ›āđāļĨāđ‰āļ§ BERT āļˆāļ°āļ›āļāļ›āļīāļ”āđ‚āļ—āđ€āļ„āđ‡āļ™āļ›āļĢāļ°āļĄāļēāļ“āļāļĩāđˆāđ€āļ›āļ­āļĢāđŒāđ€āļ‹āđ‡āļ™āļ•āđŒāļĢāļ°āļŦāļ§āđˆāļēāļ‡āļāļēāļĢāļāļķāļāļĨāđˆāļ§āļ‡āļŦāļ™āđ‰āļē

BERT āļ›āļīāļ”āļšāļąāļ‡āđ‚āļ—āđ€āļ„āđ‡āļ™āļ­āļīāļ™āļžāļļāļ•āļ›āļĢāļ°āļĄāļēāļ“ 15% āļ‹āļķāđˆāļ‡āđ€āļ›āđ‡āļ™āļ„āļ§āļēāļĄāļŠāļĄāļ”āļļāļĨāļĢāļ°āļŦāļ§āđˆāļēāļ‡āļāļēāļĢāđƒāļŦāđ‰āļŠāļąāļāļāļēāļ“āļ—āļĩāđˆāđ€āļžāļĩāļĒāļ‡āļžāļ­āđāļĨāļ°āļāļēāļĢāļ›āļĨāđˆāļ­āļĒāđƒāļŦāđ‰āļšāļĢāļīāļšāļ—āđ€āļžāļĩāļĒāļ‡āļžāļ­

āđ€āļŦāļ•āļļāđƒāļ” MLM āļˆāļķāļ‡āđƒāļŦāđ‰āđāļšāļšāļˆāļģāļĨāļ­āļ‡āļ„āļ§āļēāļĄāđ€āļ‚āđ‰āļēāđƒāļˆāđāļšāļšāļŠāļ­āļ‡āļ—āļīāļĻāļ—āļēāļ‡

āļ•āļąāļ§āđ€āļ‚āđ‰āļēāļĢāļŦāļąāļŠ Transformer āđƒāļŠāđ‰āļāļēāļĢāđ€āļ­āļēāđƒāļˆāđƒāļŠāđˆāļ•āļ™āđ€āļ­āļ‡āđ‚āļ”āļĒāđ„āļĄāđˆāļ•āļąāđ‰āļ‡āđƒāļˆ āļ”āļąāļ‡āļ™āļąāđ‰āļ™āļ—āļļāļāđ‚āļ—āđ€āļ„āđ‡āļ™āļˆāļķāļ‡āļŠāļēāļĄāļēāļĢāļ–āļĄāļ­āļ‡āđ€āļŦāđ‡āļ™āđ‚āļ—āđ€āļ„āđ‡āļ™āļ­āļ·āđˆāļ™āđ† āļ—āļąāđ‰āļ‡āļŦāļĄāļ”āđ„āļ”āđ‰āļ—āļąāđ‰āļ‡āļŠāļ­āļ‡āļ”āđ‰āļēāļ™

āđƒāļ™āļĢāļđāļ›āđāļšāļšāļāļēāļĢāļžāļĢāļēāļ‡āļ•āļąāļ§āļ‚āļ­āļ‡ BERT āļˆāļ°āđ€āļāļīāļ”āļ­āļ°āđ„āļĢāļ‚āļķāđ‰āļ™āļāļąāļšāļ›āļĢāļ°āļĄāļēāļ“ 10% āļ‚āļ­āļ‡āļ•āļģāđāļŦāļ™āđˆāļ‡āļ—āļĩāđˆāđ€āļĨāļ·āļ­āļāđāļ—āļ™āļ—āļĩāđˆāļˆāļ°āļāļĨāļēāļĒāđ€āļ›āđ‡āļ™ [MASK]

āđ€āļžāļ·āđˆāļ­āļ›āļĢāļąāļšāļ›āļĢāļļāļ‡āļ„āļ§āļēāļĄāļ—āļ™āļ—āļēāļ™ āļ•āļģāđāļŦāļ™āđˆāļ‡āļ—āļĩāđˆāļ›āļīāļ”āļšāļąāļ‡ 10% āļˆāļ°āļ–āļđāļāļŠāļĨāļąāļšāđ€āļ›āđ‡āļ™āđ‚āļ—āđ€āļ„āđ‡āļ™āđāļšāļšāļŠāļļāđˆāļĄ āđāļĨāļ° 10% āļˆāļ°āđ„āļĄāđˆāļĄāļĩāļāļēāļĢāđ€āļ›āļĨāļĩāđˆāļĒāļ™āđāļ›āļĨāļ‡

āļāļēāļĢāļ„āļģāļ™āļ§āļ“āļāļēāļĢāļŠāļđāļāđ€āļŠāļĩāļĒ MLM āļ­āļĒāļđāđˆāļ—āļĩāđˆāļ•āļģāđāļŦāļ™āđˆāļ‡āđƒāļ”

āļāļēāļĢāļŠāļđāļāđ€āļŠāļĩāļĒāđ€āļ­āļ™āđ‚āļ—āļĢāļ›āļĩāļ‚āđ‰āļēāļĄāļˆāļ°āđƒāļŠāđ‰āļāļąāļšāļ•āļģāđāļŦāļ™āđˆāļ‡āļ—āļĩāđˆāļ›āļīāļ”āļšāļąāļ‡āđ€āļ—āđˆāļēāļ™āļąāđ‰āļ™ āđ‚āļ”āļĒāđ€āļ›āļĢāļĩāļĒāļšāđ€āļ—āļĩāļĒāļšāļāļēāļĢāļ„āļēāļ”āļāļēāļĢāļ“āđŒāļāļąāļšāļĢāļŦāļąāļŠāđ‚āļ—āđ€āļ„āđ‡āļ™āļ”āļąāđ‰āļ‡āđ€āļ”āļīāļĄ

āđ€āļĢāļĩāļĒāļ™āļĢāļđāđ‰āļ•āđˆāļ­āđ„āļ›

āļ„āļģāđāļ™āļ°āļ™āļģāļ—āļĩāđˆāđ€āļāļĩāđˆāļĒāļ§āļ‚āđ‰āļ­āļ‡

āļ„āļģāđāļ™āļ°āļ™āļģāđ€āļžāļīāđˆāļĄāđ€āļ•āļīāļĄāļ—āļĩāđˆāđ€āļĨāļ·āļ­āļāļŠāļģāļŦāļĢāļąāļšāļŦāļąāļ§āļ‚āđ‰āļ­āļ™āļĩāđ‰

āļ•āđˆāļ­āđ„āļ›āļ„āļģāđāļ™āļ°āļ™āļģāļ•āđˆāļ­āđ„āļ›

āļāļēāļĢāļŠāļĢāđ‰āļēāļ‡āđāļšāļšāļˆāļģāļĨāļ­āļ‡āļ āļēāļĐāļē

āļ āļēāļĐāļēāđ€āļ­āđ„āļ­

āļĢāļąāļšāđƒāļšāļĢāļąāļšāļĢāļ­āļ‡ AI āļŸāļĢāļĩāļŦāļĨāļąāļāļŠāļđāļ•āļĢāđāļĨāļ°āļāļēāļĢāļŠāļ­āļšāļŠāļąāđ‰āļ™ āđ† āļŸāļĢāļĩ āđ„āļĄāđˆāļĄāļĩāļ„āđˆāļēāđƒāļŠāđ‰āļˆāđˆāļēāļĒ āđ„āļĄāđˆāļĄāļĩāļšāļąāļ•āļĢāđ€āļ„āļĢāļ”āļīāļ• āļ›āļĢāļ°āļĄāļēāļ“ 2.5 āļŠāļąāđˆāļ§āđ‚āļĄāļ‡āđ€āļĢāļīāđˆāļĄāļ•āđ‰āļ™āļŸāļĢāļĩ →