VolgendeVolgende gids
Tegenstrijdige diffusiedestillatie en turbomodellen
Technisch
Technische GIDS
Diffusiebeeldmodellen genereren meestal nieuwe beelden, maar uit onderzoek is gebleken dat ze soms specifieke trainingsbeelden vrijwel exact kunnen reproduceren, vooral beelden die vaak in de trainingsgegevens voorkomen.
Luister naar deze gidsAI-verteld · ~3 min
Dit heet memoriseren. Het is van belang voor het auteursrecht, omdat een bijna-kopie van een beschermd werk uit een model kan komen, en voor de privacy, omdat een foto van een echte persoon of een medische scan kan worden uitgebraakt.
Een diffusiemodel leert een ruisproces om te keren: tijdens de training ziet het beelden waaraan ruis is toegevoegd en leert het die ruis te voorspellen en te verwijderen. Als het goed generaliseert, leert het de statistieken van afbeeldingen in het algemeen en produceert het nieuwe combinaties. Maar neurale netwerken kunnen ook geschikt zijn voor individuele voorbeelden, en wanneer een beeld honderden of duizenden keren in de gegevens voorkomt, is de goedkoopste manier om het trainingsverlies daarop te beperken, het opslaan ervan. Het belangrijkste bewijsmateriaal komt uit het artikel van Carlini en collega's uit 2023 'Extracting Training Data from Diffusion Models'. Ze genereerden veel afbeeldingen voor bijschriften van de meest gedupliceerde trainingsafbeeldingen en markeerden uitvoer die extreem dicht bij een trainingsafbeelding lag. Ze haalden meer dan honderd bijna identieke kopieën uit Stable Diffusion, inclusief foto's van identificeerbare mensen, en vonden hogere memorisatiepercentages in Imagen van Google. Daarnaast hebben Somepalli en collega's (2022-2023) aangetoond dat Stable Diffusion vaak gekopieerde delen of lay-outs van trainingsafbeeldingen uitvoert, en het kopiëren koppelt aan dubbele afbeeldingen en zeer specifieke bijschriften. Drie misvattingen zijn de moeite waard om te corrigeren. Ten eerste is het onthouden van gegevens niet het normale gedrag van het model: geëxtraheerde kopieën zijn zeldzaam in vergelijking met alle generaties. Ten tweede betekent zeldzaam niet dat het onschadelijk is, omdat een vastberaden gebruiker zich kan richten op de beelden die het meest waarschijnlijk worden onthouden. Ten derde is memoriseren niet alleen het exact kopiëren van pixels; modellen kunnen karakters, logo's, watermerken en onderscheidende composities reproduceren. Dit bewijsmateriaal is aan bod gekomen in juridische debatten, waaronder rechtszaken als Getty Images tegen Stability AI en Andersen tegen Stability AI, hoewel de manier waarop rechtbanken modeltraining en resultaten behandelen nog steeds wordt uitgewerkt en per land verschilt. Op het gebied van privacy is de bezorgdheid groter bij kleine, verfijnde datasets, zoals medische of persoonlijke foto's, waarbij elk voorbeeld meer invloed heeft.
Onderzoekers vragen een model met het exacte bijschrift van een zwaar gedupliceerde trainingsafbeelding en krijgen een uitvoer terug die bijna pixelidentiek is aan de originele foto.
Een ontwerper vraagt naar de stijl van een beroemd schilderij en ontvangt een afbeelding die de compositie en details van een specifiek kunstwerk kopieert in plaats van een nieuw stuk.
Een beeldgenerator die is getraind op webafbeeldingen geeft af en toe een vervormde versie van het watermerk van een aandelenbureau weer, waardoor het patronen uit herhaalde bronafbeeldingen heeft overgenomen.
Een ziekenhuisteam dat een verspreidingsmodel op een kleine set patiëntscans verfijnt, test of het model bijna kopieën van echte scans kan maken voordat delen ervan is toegestaan.
Deduplicatie en controles op de gelijkenis van de uitvoer worden een standaardpraktijk voor verantwoordelijke ontwikkelaars, en er wordt nog steeds onderzoek gedaan naar het detecteren van opgeslagen aanwijzingen tijdens de inferentie. Differentiële privacy kan praktisch worden voor gevoelige domeinen zoals medische beeldvorming, hoewel er nog steeds kwaliteitsafwegingen bestaan. Het juridische beeld is onzeker: rechtbanken in verschillende landen overwegen of training en output inbreuk maken op het auteursrecht, en de uitkomsten kunnen verschillen. Ontwikkelaars zullen waarschijnlijk met meer druk te maken krijgen om bronnen van trainingsgegevens te documenteren en te laten zien hoe ze op regurgitatie testen en deze beperken.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
Diffusiebeeldmodellen genereren meestal nieuwe beelden, maar uit onderzoek is gebleken dat ze soms specifieke trainingsbeelden vrijwel exact kunnen reproduceren, vooral beelden die vaak in de trainingsgegevens voorkomen. Dit heet memoriseren. Het is van belang voor het auteursrecht, omdat een bijna-kopie van een beschermd werk uit een model kan komen, en voor de privacy, omdat een foto van een echte persoon of een medische scan kan worden uitgebraakt.
Memoriseren betekent uitvoer die bijna een kopie is van bepaalde trainingsbeelden, in plaats van nieuwe beelden.
Herhaalde blootstelling aan hetzelfde beeld maakt het passend maken van dat exacte voorbeeld een efficiënte manier om het verlies te verminderen.
Ze haalden meer dan honderd bijna-kopieën uit Stable Diffusion, inclusief foto's van identificeerbare mensen, en vonden hogere percentages in Imagen.
Een opgeslagen beeld verschijnt consistent, ongeacht het zaad, zodat dichte clusters van vrijwel identieke outputs kandidaten markeren.
Geëxtraheerde kopieën zijn zeldzaam in vergelijking met alle uitvoer, maar aanvallers kunnen zich concentreren op afbeeldingen die het meest waarschijnlijk worden onthouden.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
Tegenstrijdige diffusiedestillatie en turbomodellen
Technisch