Gids-gekoppelde quiz · Middelmatig Niveau
Zelfgestuurde leerquiz
Controleer op data afgeleide doelen, BERT-maskering, SimCLR-paren, annotatiebehoeften, adaptatie, taken voor het volgende token, projectiekoppen en beschadigde-tokendoelen.
Vraag 1 van 8
Where does the supervision signal in the described self-supervised examples come from?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Where does the supervision signal in the described self-supervised examples come from?
- A requirement for no training objective
- Only new human semantic labels for every pretraining example
- A rule that examples contain no useful information
- The data and defined transformations of it
- Which input positions contribute prediction targets to the original BERT masked-language-model loss?
- The positions selected for the MLM prediction task
- Every position in the entire input regardless of selection
- Only the first position of each new sentence
- Only positions that appear after the final sentence boundary
- Bij contrastief leren zoals SimCLR is een 'positief paar':
- Twee volkomen los van elkaar staande beelden
- Een paar door mensen geschreven labels
- Twee uitgebreide weergaven van dezelfde afbeelding die dichtbij de inbeddingsruimte moeten liggen
- Twee kopieën van de dataset
- What annotation requirement can self-supervised pretraining reduce in the described examples?
- The need for any usable input data
- Separate task-specific semantic labels for every pretraining example
- All computational cost by definition
- The need to assess downstream performance
- How can a representation learned through self-supervision be used for a later task?
- By evaluating a task head or adapting the representation through fine-tuning
- By assuming every target task requires no labels or validation
- By discarding all representations before making predictions
- By treating the pretraining loss as proof of every application's accuracy
- Hoe verschilt de zelfbeheerde taak van een model in GPT-stijl van die van BERT?
- Er wordt helemaal geen tekst gebruikt
- Het vereist handmatige labels voor elk woord
- Het voorspelt alleen het eerste woord van een document
- Het voorspelt het volgende token in plaats van gemaskeerde tokens in te vullen
- In the original SimCLR framework, which component is discarded for the reported downstream representation use?
- The encoder representation itself
- The contrastive projection head
- All training inputs before pretraining begins
- The positive-pair source-image relationship
- When original BERT pretraining replaces a selected input position with a random token, what remains its loss target?
- The newly inserted random token
- The next sentence's first token in every case
- The original token before replacement
- No target, because every random replacement is omitted from training