SelanjutnyaPanduan berikutnya
Lookahead dan Lion Optimizer
Teknis
PANDUAN Teknis
Tujuan InfoNCE dan SimCLR
InfoNCE adalah kerugian kontrastif yang mengajarkan model untuk menyatukan pasangan yang cocok dan memisahkan pasangan yang tidak cocok dalam ruang penyematan.
Dengarkan panduan iniDiceritakan oleh AI · ~2 min
Di halaman ini2 menit membaca
Ikhtisar
SimCLR is a landmark framework that used this loss to learn powerful image representations from unlabeled data, rivaling supervised pretraining.
Menyelam Lebih Dalam
InfoNCE (Estimasi Kontras Kebisingan untuk informasi timbal balik) melatih pembuat enkode sehingga kueri dan positif sebenarnya memiliki skor kesamaan yang lebih tinggi daripada kueri dan banyak negatifnya. Ini pada dasarnya adalah entropi silang softmax atas skor kesamaan: bagi seorang jangkar, yang positif harus menang melawan yang negatif. SimCLR (2020) mengoperasionalkan ini untuk gambar: ambil satu gambar, terapkan dua augmentasi acak untuk membuat pasangan positif, jalankan keduanya melalui encoder bersama ditambah kepala proyeksi, dan gunakan entropi silang berskala suhu yang dinormalisasi (NT-Xent, varian InfoNCE) sehingga dua tampilan yang diperbesar menarik sementara semua gambar lain dalam kumpulan bertindak sebagai negatif. SimCLR menunjukkan bahwa augmentasi data yang kuat, kepala proyeksi nonlinier, ukuran batch yang besar, dan suhu yang disetel memungkinkan model yang diawasi sendiri cocok dengan model yang diawasi di ImageNet — tanpa label apa pun selama prapelatihan.
Implementasi Dunia Nyata
SimCLR melakukan pra-pelatihan encoder gambar pada foto yang tidak berlabel, lalu menyempurnakan kumpulan berlabel kecil untuk klasifikasi.
CLIP menggunakan tujuan InfoNCE untuk mencocokkan gambar dengan keterangannya, memungkinkan klasifikasi gambar zero-shot.
Membangun pencarian/pengambilan visual di mana gambar serupa ditempatkan berdekatan dalam ruang penyematan yang dipelajari.
Pra-pelatihan yang diawasi sendiri untuk citra medis atau satelit di mana labelnya langka namun data mentahnya berlimpah.
Masa Depan Tujuan InfoNCE dan SimCLR
Tujuan kontras tersebar jauh melampaui SimCLR: CLIP menyelaraskan gambar dengan teks menggunakan InfoNCE di seluruh modalitas, dan kerugian yang sama mendorong model audio, video, dan pengambilan. Penelitian kini mengurangi ketergantungan pada kumpulan besar dan banyak negatif melalui bank memori (MoCo), atau menghilangkan seluruh negatif eksplisit (BYOL, SimSiam, DINO). Harapkan perpaduan lanjutan dari pra-pelatihan kontrastif, distilasi, dan pemodelan bertopeng, dengan penyelarasan multimodal (teks, gambar, audio) sebagai garis depan yang dominan untuk model fondasi.
Mempraktikkannya
Mengapa itu penting
- Biaya dan anggaran. Keputusan arsitektur mendorong kinerja dan biaya pengoperasian selama bertahun-tahun.
- Keputusan yang lebih jelas. Pendidikan teknis membantu tim memilih tumpukan yang tepat, bukan hanya yang terbaru.
- Kontrol kualitas. Pilihan teknik yang lebih baik mengurangi insiden keandalan dalam produksi.
Hati-hati
- Mengoptimalkan satu tolok ukur dapat menyembunyikan kelemahan sistem yang lebih luas.
- Biaya infrastruktur dan pemeliharaan sering kali diremehkan.
- Kesenjangan keamanan dan kemampuan observasi dapat tumbuh seiring dengan semakin kompleksnya sistem.
Langkah selanjutnya
- Tentukan target latensi, kualitas, dan biaya sebelum penerapan.
- Tolok ukur dalam kondisi beban dan data yang realistis.
- Pemantauan instrumen untuk kesalahan, penyimpangan, dan dampak pengguna.
- Siapkan jalur rollback dan respons insiden sebelum melakukan penskalaan.
Terus Menjelajah
Buletin gratis
Dapatkan pengarahan AI harian
Tiga cerita AI terverifikasi setiap pagi hari kerja, ditulis dalam bahasa Inggris sederhana. Gratis selamanya, tanpa iklan.
Satu email setiap hari kerja. Berhenti berlangganan dalam satu klik. Kami tidak pernah menjual atau membagikan alamat Anda.
Uji diri Anda sendiri
Take the InfoNCE and SimCLR Objectives quiz
Umpan balik instan untuk setiap jawaban, dan sertifikat yang dapat dibagikan dengan ID yang dapat diverifikasi setelah Anda lulus kursus.
Mendukung pendidikan AI gratis. AI Understanding adalah organisasi nirlaba 501(c)(3) — tanpa iklan, tanpa paywall, selamanya. Berikan sumbangan
Pertanyaan yang sering diajukan
What is InfoNCE and SimCLR Objectives?
InfoNCE adalah kerugian kontrastif yang mengajarkan model untuk menyatukan pasangan yang cocok dan memisahkan pasangan yang tidak cocok dalam ruang penyematan. SimCLR adalah kerangka kerja penting yang menggunakan kehilangan ini untuk mempelajari representasi gambar yang kuat dari data yang tidak berlabel, menyaingi pra-pelatihan yang diawasi.
Tujuan InfoNCE mendorong model untuk melakukan apa?
InfoNCE adalah softmax atas kesamaan yang memberi penghargaan pada kesamaan yang tinggi untuk hal positif yang sebenarnya dan kesamaan yang rendah untuk hal yang negatif.
Di SimCLR, bagaimana pasangan positif dibuat?
SimCLR menghasilkan pasangan positif dari dua tampilan tambahan dari gambar sumber yang sama; gambar lain berfungsi sebagai negatif.
Apa peran suhu τ di NT-Xent / InfoNCE?
Membagi kesamaan dengan τ sebelum softmax mengontrol seberapa tajam kerugian membedakan positif dari negatif keras.
Apa yang terjadi pada kepala proyeksi SimCLR setelah pra-pelatihan?
SimCLR menemukan bahwa fitur sebelum kepala proyeksi ditransfer lebih baik, sehingga kepala dibuang setelah pra-pelatihan.
Mengapa SimCLR mengandalkan ukuran batch yang besar?
Di SimCLR, gambar lain dalam kumpulan bertindak sebagai negatif, sehingga kumpulan yang lebih besar memberikan lebih banyak negatif dan pembelajaran yang lebih kuat.
Teruslah belajar
Panduan terkait
Panduan lainnya dipilih untuk topik ini