Kvíz spojený s průvodcem · Střední úroveň
Kvíz o modelování maskovaného jazyka
Pochopte modelování maskovaného jazyka, schéma výběru tokenů BERT a pozdější alternativy pro obousměrné předtrénování.
Otázka 1 z 8
Jaký je hlavní tréninkový úkol v modelování maskovaného jazyka?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Jaký je hlavní tréninkový úkol v modelování maskovaného jazyka?
- Předpovídání záměrně skrytých slov z okolního kontextu
- Předpovídání dalšího slova po větě
- Překlad textu mezi dvěma jazyky
- Seřazení vět podle gramatické správnosti
- Přibližně jaké procento tokenů BERT obvykle maskuje během předtrénování?
- asi 50 %
- asi 15 %
- asi 1 %
- asi 90 %
- Proč MLM poskytuje modelu obousměrné porozumění?
- Čte věty pozpátku
- Používá dva samostatné modely
- Každý žeton se věnuje slovům nalevo i napravo
- Dívá se pouze na předchozí slovo
- Co se v maskovacím schématu BERT stane s asi 10 % vybraných pozic místo toho, aby se staly [MASKOU]?
- Jsou zcela odstraněny
- Jsou zdvojené
- Jsou velká
- Jsou nahrazeny náhodným slovem
- Na kterých pozicích se počítá ztráta MLM?
- Pouze maskované pozice
- Každý znak ve větě
- Pouze první a poslední žeton
- Pouze znaky interpunkce
- Co ve srovnání s predikcí dalšího tokenu MLM obchoduje?
- Schopnost používat kontext
- Schopnost generovat plynulý text zleva doprava
- Přístup ke slovní zásobě
- Využití pozornosti
- How does RoBERTa’s dynamic masking differ from BERT’s original setup?
- It masks only the first token of every sentence
- It predicts future tokens with a causal decoder
- The masked positions can be regenerated across training passes instead of remaining fixed
- It replaces all masked tokens with random numbers
- What auxiliary objective did the original BERT pretraining recipe combine with MLM?
- Image patch reconstruction
- Audio speaker diarization
- A reward model for code generation
- Next-sentence prediction