Test de modelare a limbajului mascat

Răspunsurile și explicațiile apar pe măsură ce susțineți testul.

1. Care este sarcina de bază de formare în modelarea limbajului mascat?
   • Prezicerea cuvintelor ascunse în mod deliberat din contextul înconjurător
   • Prezicerea cuvântului următor după o propoziție
   • Traducerea textului între două limbi
   • Clasificarea propozițiilor după corectitudinea gramaticală
2. Aproximativ ce procent de jetoane maschează de obicei BERT în timpul antrenamentului?
   • Aproximativ 50%
   • Aproximativ 15%
   • Aproximativ 1%
   • Aproximativ 90%
3. De ce MLM oferă un model de înțelegere bidirecțională?
   • Citește propoziții înapoi
   • Folosește două modele separate
   • Fiecare jeton se ocupă de cuvintele din stânga și din dreapta
   • Se uită doar la cuvântul anterior
4. În schema de mascare a BERT, ce se întâmplă cu aproximativ 10% din pozițiile selectate în loc să devină [MASK]?
   • Sunt șterse în întregime
   • Sunt duplicate
   • Sunt capitalizate
   • Ele sunt înlocuite cu un cuvânt aleatoriu
5. Pe ce poziții se calculează pierderea MLM?
   • Doar pozițiile mascate
   • Fiecare simbol din propoziție
   • Doar primul și ultimul jetoane
   • Doar semne de punctuație
6. În comparație cu predicția următoarelor simboluri, ce schimbă MLM?
   • Abilitatea de a folosi contextul
   • Abilitatea de a genera text fluent de la stânga la dreapta
   • Acces la un vocabular
   • Utilizarea atenției
7. How does RoBERTa’s dynamic masking differ from BERT’s original setup?
   • It masks only the first token of every sentence
   • It predicts future tokens with a causal decoder
   • The masked positions can be regenerated across training passes instead of remaining fixed
   • It replaces all masked tokens with random numbers
8. What auxiliary objective did the original BERT pretraining recipe combine with MLM?
   • Image patch reconstruction
   • Audio speaker diarization
   • A reward model for code generation
   • Next-sentence prediction