Il prossimoProssima guida
Campionamento DreamFusion e distillazione del punteggio
IA visiva
GUIDA AI visiva
DINO è un metodo auto-supervisionato che addestra un trasformatore di visione a comprendere immagini senza alcuna etichetta, facendo in modo che la rete si auto-insegna.
Ascolta questa guidaNarrato dall'IA · ~2 min
It produces features so clean that object boundaries emerge for free in the attention maps.
DINO, abbreviazione di auto-distillazione senza etichette, è stato pubblicato da Meta AI (allora Facebook AI) nel 2021. Utilizza due copie della stessa rete - uno studente e un insegnante - e fornisce loro diversi ritagli aumentati di un'immagine. Lo studente cerca di eguagliare la distribuzione dei risultati dell'insegnante, anche se l'insegnante vede solo una visione diversa. Fondamentalmente, l'insegnante non viene formato direttamente; i suoi pesi sono una media mobile esponenziale di quella dello studente, che si trascina lentamente dietro. Per evitare che la rete collassi verso un'unica risposta costante, DINO centra e affina i risultati dell'insegnante. Un risultato sorprendente è che le mappe dell’autoattenzione del risultante trasformatore di visione segmentano gli oggetti senza che venga mai detto cosa sia un oggetto.
Segmentazione degli oggetti non supervisionata, in cui l'attenzione di DINO mappa gli oggetti delineati senza etichette maschera
Recupero di immagini e rilevamento di copie, utilizzando le funzionalità DINO per trovare immagini quasi duplicate o visivamente simili
DINOv2 funge da spina dorsale congelata per la stima della profondità e attività di previsione densa
Pre-addestramento di modelli di visione medica o satellitare in cui i dati etichettati sono scarsi o costosi
DINO launched a line of self-supervised visual representation research. DINOv2, introduced in 2023, used a curated collection of 142 million images, selected from a larger pool, to train general-purpose visual features. These features can serve as frozen backbones for tasks such as retrieval, segmentation, and depth estimation, with task-specific heads and evaluation still needed. Self-distillation remains useful where annotations are expensive, while deployment requires checking performance on the intended images rather than assuming transfer is automatic.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
DINO è un metodo auto-supervisionato che addestra un trasformatore di visione a comprendere immagini senza alcuna etichetta, facendo in modo che la rete si auto-insegna. Produce caratteristiche così pulite che i confini degli oggetti emergono gratuitamente nelle mappe dell’attenzione.
DINO significa autodistillazione senza etichette: è completamente auto-supervisionato e non richiede annotazioni umane.
L'insegnante è un EMA dello studente, quindi segue lo studente senza problemi anziché essere formato direttamente.
Centratura e affinamento si controbilanciano a vicenda per mantenere diversificati i risultati dell'insegnante, evitando la banale soluzione costante.
L'insegnante vede solo le colture globali mentre lo studente vede anche le piccole colture locali, incoraggiando la coerenza tra locale e globale.
The study observed useful object-related attention structure, rather than guaranteeing complete segmentation on every input.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Campionamento DreamFusion e distillazione del punteggio
IA visiva