Il prossimoProssima guida
Lookahead e ottimizzatori Lion
Tecnico
GUIDA TECNICA
InfoNCE è la perdita contrastiva che insegna a un modello a mettere insieme le coppie corrispondenti e ad allontanare le coppie non corrispondenti nello spazio di incorporamento.
Ascolta questa guidaNarrato dall'IA · ~2 min
SimCLR is a landmark framework that used this loss to learn powerful image representations from unlabeled data, rivaling supervised pretraining.
InfoNCE (Noise-Contrastive Estimation for mutual information) addestra un codificatore in modo che una query e il suo vero positivo abbiano un punteggio di somiglianza più elevato rispetto alla query e molti negativi. Si tratta essenzialmente di un'entropia incrociata softmax sui punteggi di somiglianza: per un'ancora, il positivo dovrebbe vincere contro i negativi. SimCLR (2020) ha reso operativo questo per le immagini: prendi un'immagine, applica due aumenti casuali per creare una coppia positiva, esegui entrambi attraverso un codificatore condiviso più una testa di proiezione e usa l'entropia incrociata normalizzata in scala di temperatura (NT-Xent, una variante InfoNCE) in modo che le due viste aumentate si attraggano mentre tutte le altre immagini nel batch agiscono come negativi. SimCLR ha dimostrato che un forte aumento dei dati, una testa di proiezione non lineare, lotti di grandi dimensioni e una temperatura sintonizzata insieme consentono ai modelli autosupervisionati di corrispondere a quelli supervisionati su ImageNet, senza alcuna etichetta durante il pre-addestramento.
SimCLR pre-addestra un codificatore di immagini su foto senza etichetta, quindi perfeziona un piccolo set etichettato per la classificazione.
CLIP utilizza un obiettivo InfoNCE per abbinare le immagini alle relative didascalie, consentendo la classificazione delle immagini a scatto zero.
Costruire una ricerca/recupero visivo in cui immagini simili si trovano vicine nello spazio di incorporamento appreso.
Preformazione autocontrollata per immagini mediche o satellitari in cui le etichette sono scarse ma i dati grezzi sono abbondanti.
Obiettivi contrastanti si estendono ben oltre SimCLR: CLIP allinea le immagini con il testo utilizzando InfoNCE in tutte le modalità e la stessa perdita guida i modelli audio, video e di recupero. La ricerca ora riduce la dipendenza da lotti enormi e molti negativi tramite banchi di memoria (MoCo) o rimuove completamente i negativi espliciti (BYOL, SimSiam, DINO). Aspettatevi una continua fusione di pre-formazione contrastiva, distillazione e modellazione mascherata, con l'allineamento multimodale (testo, immagine, audio) come frontiera dominante per i modelli di base.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
InfoNCE è la perdita contrastiva che insegna a un modello a mettere insieme le coppie corrispondenti e ad allontanare le coppie non corrispondenti nello spazio di incorporamento. SimCLR è un framework fondamentale che ha utilizzato questa perdita per apprendere potenti rappresentazioni di immagini da dati non etichettati, rivaleggiando con il pre-addestramento supervisionato.
InfoNCE è un softmax sulle somiglianze che premia l'elevata somiglianza per i veri positivi e la bassa somiglianza per i negativi.
SimCLR genera una coppia positiva da due viste aumentate della stessa immagine sorgente; altre immagini servono come negativi.
Dividendo le somiglianze per τ prima di softmax si controlla quanto nettamente la perdita distingue i positivi dai negativi rigidi.
SimCLR ha scoperto che le caratteristiche prima della testa di proiezione si trasferiscono meglio, quindi la testa viene gettata via dopo il pre-allenamento.
In SimCLR le altre immagini nel batch agiscono come negativi, quindi i batch più grandi danno più negativi e un apprendimento più forte.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Lookahead e ottimizzatori Lion
Tecnico