Op scores gebaseerde generatieve modellen
Op scores gebaseerde generatieve modellen creëren data door de gradiënt van de datadistributie te leren – de richting die ervoor zorgt dat een luidruchtige sample meer op echte data lijkt.
Overzicht
This score-function view unifies diffusion models with stochastic differential equations and underpins many modern image generators.
Diepe duik
In plaats van de waarschijnlijkheid rechtstreeks te modelleren, leren op scores gebaseerde modellen de score: de gradiënt van de log-waarschijnlijkheidsdichtheid ten opzichte van de invoer. Weten op welke manier een steekproef moet worden aangespoord om de waarschijnlijkheid ervan te vergroten, is voldoende om nieuwe gegevens te genereren. Het werk van Yang Song en Stefano Ermon uit 2019 trainde een netwerk om deze score over vele ruisniveaus te schatten met behulp van denoising score matching, en genereerde vervolgens samples met Langevin-dynamiek - waarbij ze herhaaldelijk langs de partituur stapten en een beetje ruis toevoegden. Hun score-SDE-paper uit 2021 toonde aan dat diffusie- en scoregebaseerde modellen twee gezichten zijn van hetzelfde continue proces dat wordt beschreven door een stochastische differentiaalvergelijking. Cruciaal is dat elke SDE een corresponderende deterministische 'probability flow' ODE heeft die dezelfde marginale waarden deelt, waardoor exacte waarschijnlijkheden en snelle steekproeven mogelijk zijn.
Technisch inzicht
Het rechtstreeks schatten van de score van schone gegevens is moeilijk als de gegevens schaars zijn. Daarom wordt het model getraind op gegevens die verstoord zijn door Gaussische ruis op meerdere schalen. Het matchen van de ruisscore levert een hanteerbaar doel op: de score van de ruisverdeling is gelijk aan de ruisrichting gedeeld door de ruisvariantie, dus het voorspellen van ruis en het voorspellen van de score zijn in wezen hetzelfde. Bemonstering lost de SDE in de omgekeerde tijd (of de equivalente ODE met waarschijnlijkheidsstroom) op, beginnend bij pure Gaussische ruis.
Strategische impact
Speed and scale
Visuele AI kan inspectie-, detectie- en taggingtaken op schaal automatiseren.
Build choices
Creatieve teams kunnen concepten sneller prototypen met minder handmatige revisies.
Team and workflow
Bij bewerkingen kan gebruik worden gemaakt van beeld- en videosignalen die voorheen moeilijk te verwerken waren.
De toekomst van op scores gebaseerde generatieve modellen
Het score-SDE-framework is de theoretische motor achter een groot deel van de vooruitgang van generatieve AI. Snellere numerieke oplossers, betere ruisschema's en de waarschijnlijkheidsstroom-ODE maken het genereren van bijna realtime en exacte waarschijnlijkheidsevaluatie mogelijk. Hetzelfde idee van het matchen van scores verspreidt zich voorbij beelden naar het ontwerp van audio-, moleculaire en eiwitstructuren, puntenwolken en wetenschappelijke simulatie, terwijl modellen voor consistentie en flow-matching rechtstreeks voortbouwen op deze continue-tijdfundamenten om de generatie tot een handvol stappen te beperken.
Implementatie in de echte wereld
Noise-Conditional Score Networks (NCSN) die fotorealistische gezichten genereren door geleerde scoregradiënten te volgen via Langevin-dynamiek.
Reconstructie van medische beelden, zoals versnelde MRI, waarbij de geleerde score fungeert als een voorafgaande aanvulling op onderbemonsterde scangegevens.
Generatie van moleculaire en eiwitstructuren bij de ontdekking van geneesmiddelen, modellering van 3D-atomaire configuraties met op scores gebaseerde diffusie.
Synthese van audiogolfvormen waarbij partituurmodellen de ruis dempen in de richting van zuivere spraak of muziek, zoals bij op diffusie gebaseerde vocoders.
Risico's en vangrails
Beeldrechten en toestemming kunnen juridische risico's worden als de herkomst onduidelijk is.
De prestaties van modellen kunnen variëren afhankelijk van de belichting, demografische gegevens en omgevingen.
Valse positieve resultaten kunnen onopgemerkt blijven, tenzij de vertrouwensdrempels worden gecontroleerd.
Implementatie routekaart
Definieer acceptatiecriteria voor precisie-, terugroep- en foutkosten.
Test met gegevens die overeenkomen met echte productieomstandigheden.
Voeg menselijke beoordeling toe voor voorspellingen met weinig vertrouwen of hoge impact.
Volg modelafwijkingen en valideer opnieuw na wijzigingen in de camera of dataset.
Blijf verkennen
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Score-Based Generative Models quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Op energie gebaseerde modellen
Frequently asked questions
What is Score-Based Generative Models?
Op scores gebaseerde generatieve modellen creëren data door de gradiënt van de datadistributie te leren – de richting die ervoor zorgt dat een luidruchtige sample meer op echte data lijkt. Deze scorefunctieweergave verenigt diffusiemodellen met stochastische differentiaalvergelijkingen en ondersteunt veel moderne beeldgeneratoren.
Wat is precies de ‘score’ die deze modellen leren?
De score is de gradiënt van de loggegevensdichtheid ten opzichte van de invoer; deze wijst in de richting die de waarschijnlijkheid van een steekproef vergroot.
Waarom worden op scores gebaseerde modellen getraind op gegevens die zijn beschadigd door ruis op meerdere schalen?
In regio's met een lage dichtheid is de werkelijke score slecht gedefinieerd; verstorende gegevens met verschillende geluidsniveaus maken het matchen van scores overal mogelijk.
Welke steekproefprocedure gebruikten vroege op scores gebaseerde modellen om gegevens te genereren?
De Langevin-dynamiek verplaatst een sample herhaaldelijk in de richting van de partituur en injecteert kleine ruis, waardoor willekeurige ruis geleidelijk wordt omgezet in realistische gegevens.
Welk belangrijk verband werd in het score-SDE-paper 2021 gelegd?
Lied et al. uniforme diffusie- en scoregebaseerde modellen onder een stochastisch differentiaalvergelijkingsraamwerk, met een bijpassende deterministische waarschijnlijkheidsstroom-ODE.
Hoe verhoudt het voorspellen van ruis zich tot het voorspellen van de score bij het denoiseren van scorematching?
Denoising-scorematching laat zien dat de score gelijk is aan de negatieve ruis gedeeld door de ruisvariantie, waardoor ruisvoorspelling en scorevoorspelling in feite hetzelfde doel zijn.