Gids-gekoppelde quiz · Middelmatig Niveau

Gemaskerde taalmodelleringsquiz

Begrijp gemaskeerde taalmodellering, BERT's token-selectieschema en latere alternatieven voor bidirectionele pretraining.

Gerelateerde gidspadenGemaskeerde taalmodellering
Vraag 1 van 8

Wat is de kerntrainingstaak in gemaskerde taalmodellering?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Wat is de kerntrainingstaak in gemaskerde taalmodellering?
    • Het voorspellen van opzettelijk verborgen woorden uit de omringende context
    • Het voorspellen van het volgende woord na een zin
    • Tekst vertalen tussen twee talen
    • Zinnen rangschikken op grammaticale correctheid
  2. Hoeveel procent van de tokens maskeert BERT doorgaans tijdens de voortraining?
    • Ongeveer 50%
    • Ongeveer 15%
    • Ongeveer 1%
    • Ongeveer 90%
  3. Waarom biedt MLM een model voor bidirectioneel begrip?
    • Het leest zinnen achterstevoren
    • Er worden twee afzonderlijke modellen gebruikt
    • Elk token houdt rekening met woorden zowel links als rechts
    • Er wordt alleen naar het vorige woord gekeken
  4. Wat gebeurt er in het maskeringsschema van BERT met ongeveer 10% van de geselecteerde posities in plaats van [MASK] te worden?
    • Ze worden volledig verwijderd
    • Ze zijn gedupliceerd
    • Ze zijn met een hoofdletter geschreven
    • Ze worden vervangen door een willekeurig woord
  5. Op welke posities wordt het MLM-verlies berekend?
    • Alleen de gemaskerde posities
    • Elke token in de zin
    • Alleen de eerste en laatste tokens
    • Alleen leestekens
  6. Wat ruilt MLM in, vergeleken met de voorspelling van de volgende token?
    • Het vermogen om context te gebruiken
    • De mogelijkheid om vloeiende tekst van links naar rechts te genereren
    • Toegang tot een woordenschat
    • Het gebruik van aandacht
  7. How does RoBERTa’s dynamic masking differ from BERT’s original setup?
    • It masks only the first token of every sentence
    • It predicts future tokens with a causal decoder
    • The masked positions can be regenerated across training passes instead of remaining fixed
    • It replaces all masked tokens with random numbers
  8. What auxiliary objective did the original BERT pretraining recipe combine with MLM?
    • Image patch reconstruction
    • Audio speaker diarization
    • A reward model for code generation
    • Next-sentence prediction