Quiz dotyczący celów InfoNCE i SimCLR

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Do czego cel InfoNCE zachęca modelkę?
   • Spraw, aby zapytanie było bardziej podobne do jego prawdziwego pozytywu niż do wielu negatywów
   • Zapamiętaj dokładne wartości pikseli każdego obrazu
   • Minimalizuj liczbę parametrów modelu
   • Przewiduj następne słowo w zdaniu
2. Jak w SimCLR tworzy się pozytywna para?
   • Łącząc obraz z jego ludzką etykietą
   • Poprzez zastosowanie dwóch różnych losowych powiększeń do tego samego obrazu
   • Wybierając dwa zupełnie różne obrazy
   • Obracając cały zbiór danych
3. Jaką rolę odgrywa temperatura τ w NT-Xent/InfoNCE?
   • Określa tempo uczenia się
   • Automatycznie kontroluje wielkość partii
   • Skaluje wyniki podobieństwa; niższe τ wyostrza rozkład i podkreśla twarde negatywy
   • Określa liczbę warstw w koderze
4. Co dzieje się z głowicą projekcyjną SimCLR po treningu wstępnym?
   • Staje się ostatecznym klasyfikatorem
   • Jest zamrażany i używany jako koder
   • Jest powielany w celu wyciągnięcia wniosków
   • Jest odrzucany; reprezentacja przed głową jest używana do dalszych zadań
5. Dlaczego SimCLR polegał na dużych seriach?
   • Zapewnienie wielu negatywnych przykładów na każdym etapie szkolenia
   • Aby zmniejszyć zużycie pamięci
   • Aby uniknąć stosowania ulepszeń
   • Aby wyeliminować potrzebę parametru temperatury
6. In SimCLR, which examples usually act as negatives for one anchor view?
   • The matching view of the same image
   • The other augmented views in the batch that come from different images
   • Only examples with the same class label
   • Views produced by a second encoder trained on labels
7. Why does SimCLR use a nonlinear projection head before computing its contrastive loss?
   • It replaces the image encoder
   • It supplies class labels during pretraining
   • The learned projection helps the contrastive objective while the representation before the head can transfer downstream
   • It removes the need for data augmentation
8. For an InfoNCE anchor, what should happen to the positive similarity relative to sampled negatives?
   • Every negative should have a higher score than the positive
   • All scores must be identical
   • The positive is excluded from the objective
   • The positive should receive a higher score than the negatives