Il prossimoProssima guida
Pseudo-etichettatura e autoformazione
Tecnico
GUIDA TECNICA
BYOL (Bootstrap Your Own Latent) apprende rappresentazioni di immagini utili senza etichette e, sorprendentemente, senza esempi negativi.
Ascolta questa guidaNarrato dall'IA · ~2 min
It showed that self-supervised learning need not rely on pushing apart dissimilar images, sidestepping the need for huge batches of negatives.
La maggior parte dei primi metodi di autocontrollo erano contrastanti: mettevano insieme due viste aumentate della stessa immagine mentre allontanavano immagini diverse, il che richiedeva molti campioni negativi per evitare il collasso (dove la rete produce lo stesso vettore per tutto). BYOL, di DeepMind nel 2020, ha rimosso completamente gli aspetti negativi. Utilizza due reti: una rete online e una rete di destinazione. Due viste aumentate di un'immagine attraversano le due reti; la rete online aggiunge una testa di previsione ed è addestrata a prevedere la rappresentazione dell'altra vista da parte della rete di destinazione. Fondamentalmente, i pesi della rete target non vengono allenati mediante la discesa del gradiente. Si tratta invece di una media mobile esponenziale (EMA) dei pesi online. Questa asimmetria più l'obiettivo EMA impedisce il banale collasso dei metodi contrastivi temuti, abbinando o battendo le linee di base contrastive su ImageNet.
Pre-addestramento di una struttura visiva su milioni di foto senza etichetta, quindi messa a punto su un piccolo set di dati di imaging medico etichettato in cui le annotazioni degli esperti sono scarse.
Apprendimento delle funzionalità di percezione dei robot dai flussi grezzi delle telecamere senza etichettatura manuale, riducendo il costo di insegnamento delle attività di manipolazione.
Creazione di sistemi di recupero e deduplicazione delle immagini utilizzando incorporamenti BYOL che raggruppano immagini visivamente simili senza etichette di classe.
Inizializzazione di modelli di immagini satellitari o aeree su vasti archivi senza etichetta prima della messa a punto per la classificazione dell'uso del territorio o della deforestazione.
Le idee non contrastive ora ancorano gran parte della visione autocontrollata. SimSiam ha ulteriormente ridotto il BYOL, mostrando che il target EMA non è strettamente necessario se si mantiene lo stop-gradient, approfondendo la comprensione del motivo per cui si evita il collasso. Aspettatevi che queste ricette di preformazione senza etichette continuino a fondersi con la modellazione di immagini mascherate e la formazione multimodale e si diffondano a video, audio, imaging medico e robotica dove le etichette sono scarse o costose, spesso come fase di preformazione prima della messa a punto leggera e supervisionata.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
BYOL (Bootstrap Your Own Latent) apprende rappresentazioni di immagini utili senza etichette e, sorprendentemente, senza esempi negativi. Ha dimostrato che l’apprendimento auto-supervisionato non ha bisogno di fare affidamento sulla separazione di immagini dissimili, evitando la necessità di enormi quantità di negativi.
The BYOL paper highlights learning representations without negative pairs.
BYOL trains the online branch to predict the target representation across two views.
The paper describes updating the target with a slow-moving average.
The BYOL method uses asymmetry and a stop-gradient as parts of its design.
The paper learns by predicting one view’s target representation from another.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Pseudo-etichettatura e autoformazione
Tecnico