Útmutatóhoz kapcsolódó kvíz · Közepes Szint

Álarcos nyelvmodellező kvíz

Understand masked language modeling, BERT’s token-selection scheme and later alternatives for bidirectional pretraining.

Kapcsolódó útmutató utakMaszkos nyelvi modellezés
kérdés 1 -ból 8

Mi az alapvető képzési feladat a maszkolt nyelvi modellezésben?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Mi az alapvető képzési feladat a maszkolt nyelvi modellezésben?
    • Szándékosan elrejtett szavak előrejelzése a környező kontextusból
    • A mondat utáni következő szó megjóslása
    • Szöveg fordítása két nyelv között
    • Mondatok rangsorolása nyelvtani helyesség alapján
  2. A tokenek nagyjából hány százalékát takarja el a BERT az előképzés során?
    • kb 50%
    • kb 15%
    • kb 1%
    • kb 90%
  3. Miért ad az MLM egy modell kétirányú megértését?
    • Visszafelé olvassa a mondatokat
    • Két különálló modellt használ
    • Mindegyik token a bal és a jobb oldalon lévő szavakra vonatkozik
    • Csak az előző szót nézi
  4. A BERT maszkolási sémájában mi történik a kiválasztott pozíciók körülbelül 10%-ával ahelyett, hogy [MASK] lesz?
    • Teljesen törlődnek
    • Megkettőződnek
    • Nagybetűvel vannak írva
    • Véletlenszerű szóval helyettesítik őket
  5. Mely pozíciókon számítják ki az MLM veszteséget?
    • Csak a maszkos pozíciók
    • Minden jelző a mondatban
    • Csak az első és az utolsó token
    • Csak írásjelek
  6. A következő jelű előrejelzéshez képest mit vált ki az MLM?
    • A kontextus használatának képessége
    • Képes folyékony szöveget generálni balról jobbra
    • Hozzáférés a szókincshez
    • A figyelem felhasználása
  7. How does RoBERTa’s dynamic masking differ from BERT’s original setup?
    • It masks only the first token of every sentence
    • It predicts future tokens with a causal decoder
    • The masked positions can be regenerated across training passes instead of remaining fixed
    • It replaces all masked tokens with random numbers
  8. What auxiliary objective did the original BERT pretraining recipe combine with MLM?
    • Image patch reconstruction
    • Audio speaker diarization
    • A reward model for code generation
    • Next-sentence prediction