VolgendeVolgende gids
DreamFusion en Score-distillatiebemonstering
Visuele AI
Visuele AI-GIDS
DINO is een zelfgecontroleerde methode die een visietransformator traint om afbeeldingen zonder labels te begrijpen, door het netwerk zichzelf te laten leren.
Luister naar deze gidsAI-verteld · ~2 min
It produces features so clean that object boundaries emerge for free in the attention maps.
DINO, een afkorting voor zelfdistillatie zonder labels, werd in 2021 gepubliceerd door Meta AI (toen Facebook AI). Het gebruikt twee exemplaren van hetzelfde netwerk – een student en een leraar – en voedt ze met verschillende augmented crops van één afbeelding. De leerling probeert de outputverdeling van de docent te evenaren, ook al ziet de docent alleen maar een ander beeld. Cruciaal is dat de leraar niet rechtstreeks wordt opgeleid; de gewichten zijn een exponentieel voortschrijdend gemiddelde van die van de student en lopen langzaam achter. Om te voorkomen dat het netwerk ineenstort tot één constant antwoord, centreert en scherpt DINO de resultaten van de leraar. Een opvallend resultaat is dat de zelfaandachtskaarten van de resulterende visietransformator objecten segmenteren zonder dat ooit wordt verteld wat een object is.
Ongecontroleerde objectsegmentatie, waarbij DINO's aandachtskaarten objecten schetsen zonder enige maskerlabels
Ophalen en kopiëren van afbeeldingen, met behulp van DINO-functies om bijna dubbele of visueel vergelijkbare afbeeldingen te vinden
DINOv2 fungeert als een bevroren ruggengraat voor diepteschatting en compacte voorspellingstaken
Voortraining van medische of satellietvisiemodellen waarbij gelabelde gegevens schaars of kostbaar zijn
DINO launched a line of self-supervised visual representation research. DINOv2, introduced in 2023, used a curated collection of 142 million images, selected from a larger pool, to train general-purpose visual features. These features can serve as frozen backbones for tasks such as retrieval, segmentation, and depth estimation, with task-specific heads and evaluation still needed. Self-distillation remains useful where annotations are expensive, while deployment requires checking performance on the intended images rather than assuming transfer is automatic.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
DINO is een zelfgecontroleerde methode die een visietransformator traint om afbeeldingen zonder labels te begrijpen, door het netwerk zichzelf te laten leren. Het produceert kenmerken die zo helder zijn dat objectgrenzen gratis naar voren komen in de aandachtskaarten.
DINO betekent zelfdistillatie zonder labels; het is volledig zelfbeheerd en vereist geen menselijke annotaties.
De docent is een EMA van de student, dus hij volgt de student soepel en wordt niet rechtstreeks opgeleid.
Door elkaar te centreren en te verscherpen, blijven de prestaties van docenten divers en wordt de triviale, constante oplossing vermeden.
De leraar ziet alleen mondiale gewassen, terwijl de leerling ook kleine lokale gewassen ziet, wat de consistentie van lokaal tot mondiaal bevordert.
The study observed useful object-related attention structure, rather than guaranteeing complete segmentation on every input.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
DreamFusion en Score-distillatiebemonstering
Visuele AI