Kuis Tujuan InfoNCE dan SimCLR

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

1. Tujuan InfoNCE mendorong model untuk melakukan apa?
   • Buat kueri lebih mirip dengan positif sebenarnya dibandingkan dengan banyak negatif
   • Hafalkan nilai piksel yang tepat dari setiap gambar
   • Minimalkan jumlah parameter model
   • Memprediksi kata berikutnya dalam sebuah kalimat
2. Di SimCLR, bagaimana pasangan positif dibuat?
   • Dengan memasangkan gambar dengan label manusianya
   • Dengan menerapkan dua augmentasi acak yang berbeda pada gambar yang sama
   • Dengan memilih dua gambar yang sangat berbeda
   • Dengan memutar seluruh dataset
3. Apa peran suhu τ di NT-Xent / InfoNCE?
   • Ini menetapkan kecepatan pembelajaran
   • Ini mengontrol ukuran batch secara otomatis
   • Ini menskalakan skor kesamaan; τ yang lebih rendah mempertajam distribusi dan menekankan hal-hal negatif yang keras
   • Ini menentukan jumlah lapisan di encoder
4. Apa yang terjadi pada kepala proyeksi SimCLR setelah pra-pelatihan?
   • Ini menjadi pengklasifikasi terakhir
   • Itu dibekukan dan digunakan sebagai pembuat enkode
   • Itu diduplikasi untuk inferensi
   • Itu dibuang; representasi sebelum kepala digunakan untuk tugas-tugas hilir
5. Mengapa SimCLR mengandalkan ukuran batch yang besar?
   • Memberikan banyak contoh negatif dalam setiap langkah pelatihan
   • Untuk mengurangi penggunaan memori
   • Untuk menghindari penggunaan augmentasi
   • Untuk menghilangkan kebutuhan akan parameter suhu
6. In SimCLR, which examples usually act as negatives for one anchor view?
   • The matching view of the same image
   • The other augmented views in the batch that come from different images
   • Only examples with the same class label
   • Views produced by a second encoder trained on labels
7. Why does SimCLR use a nonlinear projection head before computing its contrastive loss?
   • It replaces the image encoder
   • It supplies class labels during pretraining
   • The learned projection helps the contrastive objective while the representation before the head can transfer downstream
   • It removes the need for data augmentation
8. For an InfoNCE anchor, what should happen to the positive similarity relative to sampled negatives?
   • Every negative should have a higher score than the positive
   • All scores must be identical
   • The positive is excluded from the objective
   • The positive should receive a higher score than the negatives