Gids-gekoppelde quiz · Middelmatig Niveau
Gemaskerde taalmodelleringsquiz
Begrijp gemaskeerde taalmodellering, BERT's token-selectieschema en latere alternatieven voor bidirectionele pretraining.
Vraag 1 van 8
Wat is de kerntrainingstaak in gemaskerde taalmodellering?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Wat is de kerntrainingstaak in gemaskerde taalmodellering?
- Het voorspellen van opzettelijk verborgen woorden uit de omringende context
- Het voorspellen van het volgende woord na een zin
- Tekst vertalen tussen twee talen
- Zinnen rangschikken op grammaticale correctheid
- Hoeveel procent van de tokens maskeert BERT doorgaans tijdens de voortraining?
- Ongeveer 50%
- Ongeveer 15%
- Ongeveer 1%
- Ongeveer 90%
- Waarom biedt MLM een model voor bidirectioneel begrip?
- Het leest zinnen achterstevoren
- Er worden twee afzonderlijke modellen gebruikt
- Elk token houdt rekening met woorden zowel links als rechts
- Er wordt alleen naar het vorige woord gekeken
- Wat gebeurt er in het maskeringsschema van BERT met ongeveer 10% van de geselecteerde posities in plaats van [MASK] te worden?
- Ze worden volledig verwijderd
- Ze zijn gedupliceerd
- Ze zijn met een hoofdletter geschreven
- Ze worden vervangen door een willekeurig woord
- Op welke posities wordt het MLM-verlies berekend?
- Alleen de gemaskerde posities
- Elke token in de zin
- Alleen de eerste en laatste tokens
- Alleen leestekens
- Wat ruilt MLM in, vergeleken met de voorspelling van de volgende token?
- Het vermogen om context te gebruiken
- De mogelijkheid om vloeiende tekst van links naar rechts te genereren
- Toegang tot een woordenschat
- Het gebruik van aandacht
- How does RoBERTa’s dynamic masking differ from BERT’s original setup?
- It masks only the first token of every sentence
- It predicts future tokens with a causal decoder
- The masked positions can be regenerated across training passes instead of remaining fixed
- It replaces all masked tokens with random numbers
- What auxiliary objective did the original BERT pretraining recipe combine with MLM?
- Image patch reconstruction
- Audio speaker diarization
- A reward model for code generation
- Next-sentence prediction