Útmutatóhoz kapcsolódó kvíz · Közepes Szint
Álarcos nyelvmodellező kvíz
Understand masked language modeling, BERT’s token-selection scheme and later alternatives for bidirectional pretraining.
kérdés 1 -ból 8
Mi az alapvető képzési feladat a maszkolt nyelvi modellezésben?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Mi az alapvető képzési feladat a maszkolt nyelvi modellezésben?
- Szándékosan elrejtett szavak előrejelzése a környező kontextusból
- A mondat utáni következő szó megjóslása
- Szöveg fordítása két nyelv között
- Mondatok rangsorolása nyelvtani helyesség alapján
- A tokenek nagyjából hány százalékát takarja el a BERT az előképzés során?
- kb 50%
- kb 15%
- kb 1%
- kb 90%
- Miért ad az MLM egy modell kétirányú megértését?
- Visszafelé olvassa a mondatokat
- Két különálló modellt használ
- Mindegyik token a bal és a jobb oldalon lévő szavakra vonatkozik
- Csak az előző szót nézi
- A BERT maszkolási sémájában mi történik a kiválasztott pozíciók körülbelül 10%-ával ahelyett, hogy [MASK] lesz?
- Teljesen törlődnek
- Megkettőződnek
- Nagybetűvel vannak írva
- Véletlenszerű szóval helyettesítik őket
- Mely pozíciókon számítják ki az MLM veszteséget?
- Csak a maszkos pozíciók
- Minden jelző a mondatban
- Csak az első és az utolsó token
- Csak írásjelek
- A következő jelű előrejelzéshez képest mit vált ki az MLM?
- A kontextus használatának képessége
- Képes folyékony szöveget generálni balról jobbra
- Hozzáférés a szókincshez
- A figyelem felhasználása
- How does RoBERTa’s dynamic masking differ from BERT’s original setup?
- It masks only the first token of every sentence
- It predicts future tokens with a causal decoder
- The masked positions can be regenerated across training passes instead of remaining fixed
- It replaces all masked tokens with random numbers
- What auxiliary objective did the original BERT pretraining recipe combine with MLM?
- Image patch reconstruction
- Audio speaker diarization
- A reward model for code generation
- Next-sentence prediction