Kvíz spojený s průvodcem · Střední úroveň
Samokontrolovaný výukový kvíz
Prohlédněte si cíle odvozené z dat, maskování BERT, páry SimCLR, potřeby anotací, adaptace, úkoly dalšího tokenu, projekční hlavy a cíle poškozených tokenů.
Otázka 1 z 8
Where does the supervision signal in the described self-supervised examples come from?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Where does the supervision signal in the described self-supervised examples come from?
- A requirement for no training objective
- Only new human semantic labels for every pretraining example
- A rule that examples contain no useful information
- The data and defined transformations of it
- Which input positions contribute prediction targets to the original BERT masked-language-model loss?
- The positions selected for the MLM prediction task
- Every position in the entire input regardless of selection
- Only the first position of each new sentence
- Only positions that appear after the final sentence boundary
- V kontrastním učení, jako je SimCLR, je „pozitivní pár“:
- Dva naprosto nesouvisející obrázky
- Pár štítků napsaných lidmi
- Dva rozšířené pohledy na stejný obrázek, který by měl být blízko v prostoru pro vkládání
- Dvě kopie datové sady
- What annotation requirement can self-supervised pretraining reduce in the described examples?
- The need for any usable input data
- Separate task-specific semantic labels for every pretraining example
- All computational cost by definition
- The need to assess downstream performance
- How can a representation learned through self-supervision be used for a later task?
- By evaluating a task head or adapting the representation through fine-tuning
- By assuming every target task requires no labels or validation
- By discarding all representations before making predictions
- By treating the pretraining loss as proof of every application's accuracy
- Jak se liší samokontrolovaný úkol modelu ve stylu GPT od úkolu BERT?
- Nepoužívá vůbec žádný text
- Vyžaduje ruční štítky pro každé slovo
- Předpovídá pouze první slovo dokumentu
- Spíše předpovídá další token než vyplňuje maskované tokeny
- In the original SimCLR framework, which component is discarded for the reported downstream representation use?
- The encoder representation itself
- The contrastive projection head
- All training inputs before pretraining begins
- The positive-pair source-image relationship
- When original BERT pretraining replaces a selected input position with a random token, what remains its loss target?
- The newly inserted random token
- The next sentence's first token in every case
- The original token before replacement
- No target, because every random replacement is omitted from training