Útmutatóhoz kapcsolódó kvíz · Közepes Szint
Önfelügyelt tanulási kvíz
Review data-derived targets, BERT masking, SimCLR pairs, annotation needs, adaptation, next-token tasks, projection heads, and corrupted-token targets.
kérdés 1 -ból 8
Where does the supervision signal in the described self-supervised examples come from?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Where does the supervision signal in the described self-supervised examples come from?
- A requirement for no training objective
- Only new human semantic labels for every pretraining example
- A rule that examples contain no useful information
- The data and defined transformations of it
- Which input positions contribute prediction targets to the original BERT masked-language-model loss?
- The positions selected for the MLM prediction task
- Every position in the entire input regardless of selection
- Only the first position of each new sentence
- Only positions that appear after the final sentence boundary
- Az olyan kontrasztív tanulásban, mint a SimCLR, a „pozitív pár” a következő:
- Két teljesen független kép
- Egy pár ember által írt címke
- Ugyanannak a képnek két kibővített nézete, amelyeknek közel kell lenniük a beágyazási térben
- Az adatkészlet két példánya
- What annotation requirement can self-supervised pretraining reduce in the described examples?
- The need for any usable input data
- Separate task-specific semantic labels for every pretraining example
- All computational cost by definition
- The need to assess downstream performance
- How can a representation learned through self-supervision be used for a later task?
- By evaluating a task head or adapting the representation through fine-tuning
- By assuming every target task requires no labels or validation
- By discarding all representations before making predictions
- By treating the pretraining loss as proof of every application's accuracy
- Miben különbözik egy GPT-stílusú modell önfelügyelt feladata a BERT-től?
- Egyáltalán nem használ szöveget
- Minden szóhoz kézi címkézés szükséges
- Csak a dokumentum első szavát jelzi előre
- Megjósolja a következő tokent, nem pedig maszkolt tokeneket tölt ki
- In the original SimCLR framework, which component is discarded for the reported downstream representation use?
- The encoder representation itself
- The contrastive projection head
- All training inputs before pretraining begins
- The positive-pair source-image relationship
- When original BERT pretraining replaces a selected input position with a random token, what remains its loss target?
- The newly inserted random token
- The next sentence's first token in every case
- The original token before replacement
- No target, because every random replacement is omitted from training