Kvíz spojený s průvodcem · Střední úroveň

Kvíz o modelování maskovaného jazyka

Pochopte modelování maskovaného jazyka, schéma výběru tokenů BERT a pozdější alternativy pro obousměrné předtrénování.

Související vodicí cestyMaskované jazykové modelování
Otázka 1 z 8

Jaký je hlavní tréninkový úkol v modelování maskovaného jazyka?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Jaký je hlavní tréninkový úkol v modelování maskovaného jazyka?
    • Předpovídání záměrně skrytých slov z okolního kontextu
    • Předpovídání dalšího slova po větě
    • Překlad textu mezi dvěma jazyky
    • Seřazení vět podle gramatické správnosti
  2. Přibližně jaké procento tokenů BERT obvykle maskuje během předtrénování?
    • asi 50 %
    • asi 15 %
    • asi 1 %
    • asi 90 %
  3. Proč MLM poskytuje modelu obousměrné porozumění?
    • Čte věty pozpátku
    • Používá dva samostatné modely
    • Každý žeton se věnuje slovům nalevo i napravo
    • Dívá se pouze na předchozí slovo
  4. Co se v maskovacím schématu BERT stane s asi 10 % vybraných pozic místo toho, aby se staly [MASKOU]?
    • Jsou zcela odstraněny
    • Jsou zdvojené
    • Jsou velká
    • Jsou nahrazeny náhodným slovem
  5. Na kterých pozicích se počítá ztráta MLM?
    • Pouze maskované pozice
    • Každý znak ve větě
    • Pouze první a poslední žeton
    • Pouze znaky interpunkce
  6. Co ve srovnání s predikcí dalšího tokenu MLM obchoduje?
    • Schopnost používat kontext
    • Schopnost generovat plynulý text zleva doprava
    • Přístup ke slovní zásobě
    • Využití pozornosti
  7. How does RoBERTa’s dynamic masking differ from BERT’s original setup?
    • It masks only the first token of every sentence
    • It predicts future tokens with a causal decoder
    • The masked positions can be regenerated across training passes instead of remaining fixed
    • It replaces all masked tokens with random numbers
  8. What auxiliary objective did the original BERT pretraining recipe combine with MLM?
    • Image patch reconstruction
    • Audio speaker diarization
    • A reward model for code generation
    • Next-sentence prediction