Modele generatywne oparte na wynikach
Modele generatywne oparte na wynikach tworzą dane, ucząc się gradientu rozkładu danych — kierunku, który sprawia, że każda zaszumiona próbka bardziej przypomina rzeczywiste dane.
Przegląd
Ten widok funkcji wyniku ujednolica modele dyfuzji ze stochastycznymi równaniami różniczkowymi i stanowi podstawę wielu nowoczesnych generatorów obrazów.
Głębokie nurkowanie
Zamiast bezpośrednio modelować prawdopodobieństwo, modele oparte na wynikach uczą się wyniku: gradientu gęstości logarytmicznej prawdopodobieństwa w odniesieniu do danych wejściowych. Do wygenerowania nowych danych wystarczy wiedza, w jaki sposób popchnąć próbkę, aby zwiększyć jej prawdopodobieństwo. W ramach pracy Yang Songa i Stefano Ermona z 2019 r. wytrenowano sieć w celu oszacowania tego wyniku na wielu poziomach szumu przy użyciu dopasowywania wyniku odszumiania, a następnie wygenerowano próbki z dynamiką Langevina — wielokrotnie przechodząc wzdłuż partytury i dodając trochę szumu. W artykule SDE z 2021 r. wykazano, że modele dyfuzyjne i modele oparte na wynikach to dwie strony tego samego ciągłego procesu opisanego stochastycznym równaniem różniczkowym. Co najważniejsze, każdemu SDE odpowiada deterministyczny ODE „przepływu prawdopodobieństwa”, który ma te same wartości graniczne, co umożliwia dokładne prawdopodobieństwo i szybkie próbkowanie.
Wgląd techniczny
Bezpośrednie oszacowanie wyniku czystych danych jest trudne w przypadku niewielkiej ilości danych, dlatego model jest szkolony na danych zaburzonych szumem Gaussa w wielu skalach. Dopasowywanie wyniku odszumiania daje wykonalny cel: wynik zaszumionego rozkładu jest równy kierunkowi szumu podzielonemu przez wariancję szumu, więc przewidywanie szumu i przewidywanie wyniku to w zasadzie to samo. Próbkowanie rozwiązuje SDE w czasie odwrotnym (lub równoważny ODE z przepływem prawdopodobieństwa), zaczynając od czystego szumu Gaussa.
Wpływ strategiczny
Szybkość i skala
Wizualna sztuczna inteligencja może automatyzować zadania inspekcji, wykrywania i znakowania na dużą skalę.
Buduj wybory
Zespoły kreatywne mogą szybciej prototypować koncepcje przy mniejszej liczbie ręcznych poprawek.
Zespół i przepływ pracy
Operacje mogą wykorzystywać sygnały obrazu i wideo, które wcześniej były trudne do przetworzenia.
Przyszłość modeli generatywnych opartych na wynikach
Struktura score-SDE to teoretyczny silnik stojący za większością postępu generatywnej sztucznej inteligencji. Szybsze rozwiązania numeryczne, lepsze harmonogramy szumów i ODE przepływu prawdopodobieństwa umożliwiają generowanie w czasie zbliżonym do rzeczywistego i dokładną ocenę prawdopodobieństwa. Ta sama koncepcja dopasowywania wyników wykracza poza obrazy i obejmuje projektowanie struktur molekularnych i białkowych, chmury punktów i symulacje naukowe, podczas gdy modele spójności i dopasowywania przepływów opierają się bezpośrednio na fundamentach czasu ciągłego, aby ograniczyć generowanie do kilku kroków.
Implementacja w świecie rzeczywistym
Sieci wyniku warunkowego szumu (NCSN) generujące fotorealistyczne twarze na podstawie wyuczonych gradientów wyniku za pomocą dynamiki Langevina.
Rekonstrukcja obrazu medycznego, np. przyspieszony rezonans magnetyczny, gdzie uzyskany wynik służy do wstępnego wypełnienia niedopróbkowanych danych skanu.
Generowanie struktur molekularnych i białkowych w odkrywaniu leków, modelowanie konfiguracji atomowych 3D z dyfuzją opartą na wynikach.
Synteza przebiegów audio, w której modele partytur odszumiają w kierunku czystej mowy lub muzyki, jak w wokoderach opartych na dyfuzji.
Zagrożenia i poręcze
Prawa do wizerunku i zgoda mogą stanowić ryzyko prawne, jeśli pochodzenie jest niejasne.
Wydajność modelu może się różnić w zależności od oświetlenia, demografii i środowiska.
Fałszywie pozytywne wyniki mogą pozostać niezauważone, chyba że monitorowane są progi ufności.
Plan wdrożenia
Zdefiniuj kryteria akceptacji dotyczące kosztów precyzji, wycofania i błędów.
Przetestuj na danych odpowiadających rzeczywistym warunkom produkcyjnym.
Dodaj weryfikację manualną, aby prognozy były mało pewne lub miały duży wpływ.
Śledź dryf modelu i przeprowadzaj ponowną weryfikację po zmianie kamery lub zbioru danych.
Odkrywaj dalej
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Score-Based Generative Models quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Następny poradnik
Modele oparte na energii
Często zadawane pytania
Co to są modele generatywne oparte na wynikach?
Modele generatywne oparte na wynikach tworzą dane, ucząc się gradientu rozkładu danych — kierunku, który sprawia, że każda zaszumiona próbka bardziej przypomina rzeczywiste dane. Ten widok funkcji wyniku ujednolica modele dyfuzji ze stochastycznymi równaniami różniczkowymi i stanowi podstawę wielu nowoczesnych generatorów obrazów.
Jaki dokładnie jest „punkt”, którego uczą się te modele?
Wynik to gradient gęstości danych logarytmicznych w odniesieniu do danych wejściowych — wskazuje kierunek, który zwiększa prawdopodobieństwo próbki.
Dlaczego modele oparte na wynikach są szkolone na danych zniekształconych szumem w wielu skalach?
W regionach o niskim zagęszczeniu prawdziwy wynik jest słabo zdefiniowany; zakłócające dane z kilkoma poziomami szumu sprawiają, że dopasowywanie wyników jest łatwe w każdym miejscu.
Z jakiej procedury próbkowania korzystały wczesne modele oparte na wynikach do generowania danych?
Dynamika Langevina wielokrotnie przesuwa próbkę w kierunku partytury i wprowadza niewielki szum, stopniowo przekształcając przypadkowy szum w realistyczne dane.
Jakie główne powiązanie ustalono w artykule dotyczącym wyników SDE z 2021 r.?
Song i in. ujednolicone modele dyfuzji i modele oparte na wynikach w ramach stochastycznego równania różniczkowego z pasującym deterministycznym ODE przepływu prawdopodobieństwa.
W jaki sposób przewidywanie szumu wiąże się z przewidywaniem wyniku w procesie odszumiania dopasowywania wyników?
Dopasowanie wyniku odszumiania pokazuje, że wynik jest równy ujemnemu szumowi podzielonemu przez wariancję szumu, co sprawia, że przewidywanie hałasu i przewidywanie wyniku są w rzeczywistości tym samym celem.