Генеративни модели, базирани на резултати
Генеративните модели, базирани на резултати, създават данни чрез изучаване на градиента на разпределението на данните - посоката, която прави всяка шумна проба да изглежда повече като реални данни.
Преглед
This score-function view unifies diffusion models with stochastic differential equations and underpins many modern image generators.
Дълбоко гмуркане
Вместо директно моделиране на вероятността, базираните на резултат модели научават резултата: градиента на логаритмичната плътност на вероятността по отношение на входа. Да знаете кой начин да подтикнете извадка, за да увеличите вероятността от нея, е достатъчно, за да генерирате нови данни. Работата на Янг Сонг и Стефано Ермон от 2019 г. обучи мрежа да оценява този резултат в много нива на шум, използвайки съпоставяне на резултата за обезшумяване, след което генерира проби с динамика на Ланжевин – многократно стъпване по резултата и добавяне на малко шум. Техният доклад за оценка-SDE от 2021 г. показа, че моделите на дифузия и базирани на резултати са две лица на един и същ непрекъснат процес, описан от стохастично диференциално уравнение. Най-важното е, че всеки SDE има съответен детерминистичен „поток на вероятността“ ODE, който споделя едни и същи маргинални стойности, което позволява точни вероятности и бързо вземане на проби.
Техническа информация
Директното оценяване на резултата от чисти данни е трудно, когато данните са оскъдни, така че моделът се обучава върху данни, нарушени от шума на Гаус в множество мащаби. Съпоставянето на резултата за премахване на шума дава податлива цел: резултатът на разпределението на шума е равен на посоката на шума, разделена на дисперсията на шума, така че прогнозирането на шума и прогнозирането на резултата са по същество едно и също нещо. Вземането на проби разрешава SDE с обратно време (или еквивалентния ODE на вероятностен поток), като се започне от чист гаусов шум.
Стратегическо въздействие
Speed and scale
Visual AI може да автоматизира задачи за проверка, откриване и маркиране в мащаб.
Build choices
Творческите екипи могат да създават прототипи на концепции по-бързо с по-малко ръчни ревизии.
Team and workflow
Операциите могат да използват изображения и видео сигнали, които преди са били трудни за обработка.
Бъдещето на генеративните модели, базирани на резултати
Рамката score-SDE е теоретичният двигател зад голяма част от напредъка на генеративния AI. По-бързите програми за числено решаване, по-добрите шумови графици и ODE на вероятностния поток позволяват генериране в почти реално време и точна оценка на вероятността. Същата идея за съпоставяне на резултати се разпространява отвъд изображенията в аудио, молекулярно и протеиново структурно проектиране, облаци от точки и научна симулация, докато моделите за съгласуваност и съпоставяне на потока надграждат директно върху тези основи за непрекъснато време, за да свият генерирането до няколко стъпки.
Внедряване в реалния свят
Noise-Conditional Score Networks (NCSN), генериращи фотореалистични лица чрез следване на научени градиенти на резултат чрез динамиката на Langevin.
Реконструкция на медицинско изображение, като ускорен ЯМР, където наученият резултат действа като предишно за попълване на сканирани данни с недостатъчна извадка.
Генериране на молекулярни и протеинови структури при откриване на лекарства, моделиране на 3D атомни конфигурации с дифузия, базирана на резултати.
Синтез на формата на аудио вълната, при който моделите на резултата премахват шума към чиста реч или музика, както при базираните на дифузия вокодери.
Рискове и предпазни огради
Правата върху изображението и съгласието могат да се превърнат в правни рискове, ако произходът е неясен.
Производителността на модела може да варира в зависимост от осветлението, демографските данни и средата.
Фалшивите положителни резултати могат да останат незабелязани, освен ако не се наблюдават праговете на достоверност.
Пътна карта за изпълнение
Определете критерии за приемане за прецизност, извикване и разходи за грешки.
Тествайте с данни, които съответстват на реалните производствени условия.
Добавете преглед от човек за прогнози с ниска степен на сигурност или с голямо въздействие.
Проследявайте дрейфа на модела и проверявайте отново след промени в камерата или набора от данни.
Продължете да изследвате
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Score-Based Generative Models quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Енергийно базирани модели
Frequently asked questions
What is Score-Based Generative Models?
Генеративните модели, базирани на резултати, създават данни чрез изучаване на градиента на разпределението на данните - посоката, която прави всяка шумна проба да изглежда повече като реални данни. Този изглед на резултатна функция обединява моделите на дифузия със стохастични диференциални уравнения и е в основата на много съвременни генератори на изображения.
Какъв точно е „резултатът“, който научават тези модели?
Резултатът е градиентът на плътността на данните в регистрационния файл по отношение на входа — той сочи в посоката, която увеличава вероятността за извадка.
Защо базираните на резултати модели се обучават върху данни, повредени с шум в множество мащаби?
В региони с ниска плътност истинският резултат е слабо дефиниран; смущаващите данни с няколко нива на шум правят съпоставянето на резултати податливо навсякъде.
Коя процедура за вземане на проби са използвали ранните базирани на резултати модели за генериране на данни?
Динамиката на Langevin многократно премества семпла по посока на резултата и инжектира малък шум, като постепенно трансформира произволния шум в реалистични данни.
Каква основна връзка установи документът за SDE за 2021 г.?
Song и др. унифицирана дифузия и базирани на резултати модели под рамка на стохастично диференциално уравнение, със съответстващ детерминистичен ODE на потока на вероятностите.
Как прогнозирането на шума е свързано с прогнозирането на резултата при съпоставяне на резултата за премахване на шум?
Съпоставянето на резултата за премахване на шум показва, че резултатът е равен на отрицателния шум, разделен на дисперсията на шума, което прави прогнозирането на шума и прогнозирането на резултата ефективно една и съща цел.