Κουίζ στόχων InfoNCE και SimCLR

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

1. Τι ενθαρρύνει ο στόχος InfoNCE να κάνει ένα μοντέλο;
   • Κάντε ένα ερώτημα περισσότερο παρόμοιο με το αληθινό του θετικό παρά με πολλά αρνητικά
   • Απομνημονεύστε τις ακριβείς τιμές pixel κάθε εικόνας
   • Ελαχιστοποιήστε τον αριθμό των παραμέτρων του μοντέλου
   • Προβλέψτε την επόμενη λέξη σε μια πρόταση
2. Στο SimCLR, πώς δημιουργείται ένα θετικό ζεύγος;
   • Συνδυάζοντας μια εικόνα με την ανθρώπινη ετικέτα της
   • Εφαρμόζοντας δύο διαφορετικές τυχαίες αυξήσεις στην ίδια εικόνα
   • Επιλέγοντας δύο εντελώς διαφορετικές εικόνες
   • Περιστρέφοντας ολόκληρο το σύνολο δεδομένων
3. Τι ρόλο παίζει η θερμοκρασία τ στο NT-Xent / InfoNCE;
   • Καθορίζει το ρυθμό εκμάθησης
   • Ελέγχει αυτόματα το μέγεθος της παρτίδας
   • Κλιμακώνει τις βαθμολογίες ομοιότητας. Το χαμηλότερο τ οξύνει την κατανομή και δίνει έμφαση στα σκληρά αρνητικά
   • Καθορίζει τον αριθμό των επιπέδων στον κωδικοποιητή
4. Τι συμβαίνει με την κεφαλή προβολής του SimCLR μετά την προπόνηση;
   • Γίνεται ο τελικός ταξινομητής
   • Είναι παγωμένο και χρησιμοποιείται ως κωδικοποιητής
   • Είναι διπλό για συμπέρασμα
   • Απορρίπτεται. η αναπαράσταση πριν από την κεφαλή χρησιμοποιείται για εργασίες κατάντη
5. Γιατί η SimCLR βασίστηκε σε μεγάλα μεγέθη παρτίδων;
   • Να παρέχει πολλά αρνητικά παραδείγματα σε κάθε βήμα εκπαίδευσης
   • Για μείωση της χρήσης μνήμης
   • Για να αποφύγετε τη χρήση αυξήσεων
   • Για να εξαλειφθεί η ανάγκη για μια παράμετρο θερμοκρασίας
6. In SimCLR, which examples usually act as negatives for one anchor view?
   • The matching view of the same image
   • The other augmented views in the batch that come from different images
   • Only examples with the same class label
   • Views produced by a second encoder trained on labels
7. Why does SimCLR use a nonlinear projection head before computing its contrastive loss?
   • It replaces the image encoder
   • It supplies class labels during pretraining
   • The learned projection helps the contrastive objective while the representation before the head can transfer downstream
   • It removes the need for data augmentation
8. For an InfoNCE anchor, what should happen to the positive similarity relative to sampled negatives?
   • Every negative should have a higher score than the positive
   • All scores must be identical
   • The positive is excluded from the objective
   • The positive should receive a higher score than the negatives