Κουίζ αυτοεποπτευόμενης μάθησης

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

1. Where does the supervision signal in the described self-supervised examples come from?
   • A requirement for no training objective
   • Only new human semantic labels for every pretraining example
   • A rule that examples contain no useful information
   • The data and defined transformations of it
2. Which input positions contribute prediction targets to the original BERT masked-language-model loss?
   • The positions selected for the MLM prediction task
   • Every position in the entire input regardless of selection
   • Only the first position of each new sentence
   • Only positions that appear after the final sentence boundary
3. Στην αντιθετική μάθηση όπως το SimCLR, ένα «θετικό ζεύγος» είναι:
   • Δύο εντελώς άσχετες εικόνες
   • Ένα ζευγάρι ανθρωπογραφικές ετικέτες
   • Δύο επαυξημένες προβολές της ίδιας εικόνας που θα πρέπει να βρίσκονται κοντά στον χώρο ενσωμάτωσης
   • Δύο αντίγραφα του συνόλου δεδομένων
4. What annotation requirement can self-supervised pretraining reduce in the described examples?
   • The need for any usable input data
   • Separate task-specific semantic labels for every pretraining example
   • All computational cost by definition
   • The need to assess downstream performance
5. How can a representation learned through self-supervision be used for a later task?
   • By evaluating a task head or adapting the representation through fine-tuning
   • By assuming every target task requires no labels or validation
   • By discarding all representations before making predictions
   • By treating the pretraining loss as proof of every application's accuracy
6. Πώς διαφέρει η αυτοεποπτευόμενη εργασία ενός μοντέλου τύπου GPT από αυτήν του BERT;
   • Δεν χρησιμοποιεί καθόλου κείμενο
   • Απαιτεί χειροκίνητες ετικέτες για κάθε λέξη
   • Προβλέπει μόνο την πρώτη λέξη ενός εγγράφου
   • Προβλέπει το επόμενο διακριτικό αντί να συμπληρώνει καλυμμένα κουπόνια
7. In the original SimCLR framework, which component is discarded for the reported downstream representation use?
   • The encoder representation itself
   • The contrastive projection head
   • All training inputs before pretraining begins
   • The positive-pair source-image relationship
8. When original BERT pretraining replaces a selected input position with a random token, what remains its loss target?
   • The newly inserted random token
   • The next sentence's first token in every case
   • The original token before replacement
   • No target, because every random replacement is omitted from training