Генеративные модели на основе оценок
Генеративные модели на основе оценок создают данные, изучая градиент распределения данных — направление, благодаря которому любая зашумленная выборка больше похожа на реальные данные.
Обзор
This score-function view unifies diffusion models with stochastic differential equations and underpins many modern image generators.
Глубокое погружение
Вместо прямого моделирования вероятности модели на основе оценок изучают оценку: градиент логарифмической плотности вероятности по отношению к входным данным. Зная, как подтолкнуть выборку, чтобы повысить ее вероятность, достаточно для получения новых данных. Работа Янга Сонга и Стефано Эрмона в 2019 году обучила сеть оценивать этот показатель на многих уровнях шума, используя сопоставление оценок с шумоподавлением, а затем генерировала выборки с динамикой Ланжевена — неоднократно перемещаясь по шкале и добавляя немного шума. Их статья SDE 2021 года показала, что диффузионная модель и модели на основе оценок — это две стороны одного и того же непрерывного процесса, описываемого стохастическим дифференциальным уравнением. Важно отметить, что каждое СДУ имеет соответствующее детерминированное ОДУ «потока вероятностей», которое имеет одинаковые маргинальные значения, что обеспечивает точное правдоподобие и быструю выборку.
Техническая информация
Непосредственная оценка оценки чистых данных затруднена, если данных мало, поэтому модель обучается на данных, искаженных гауссовым шумом в нескольких масштабах. Сопоставление показателей шумоподавления дает понятную цель: показатель зашумленного распределения равен направлению шума, деленному на дисперсию шума, поэтому прогнозирование шума и прогнозирование оценки — это, по сути, одно и то же. Выборка решает СДУ обратного времени (или эквивалентный ОДУ потока вероятности), начиная с чистого гауссовского шума.
Стратегическое воздействие
Скорость и масштаб
Визуальный ИИ может автоматизировать задачи проверки, обнаружения и маркировки в любом масштабе.
Выбор сборки
Творческие группы могут быстрее создавать прототипы концепций с меньшим количеством доработок вручную.
Команда и рабочий процесс
Операции могут использовать изображения и видеосигналы, которые раньше было трудно обрабатывать.
Будущее генеративных моделей на основе оценок
Структура SDE является теоретической движущей силой большей части прогресса генеративного ИИ. Более быстрые численные решатели, лучшие графики шума и ОДУ потока вероятностей позволяют генерировать данные практически в реальном времени и точно оценивать правдоподобие. Та же идея сопоставления оценок распространяется не только на изображения, но и на аудио, проектирование молекулярных и белковых структур, облака точек и научное моделирование, в то время как модели согласованности и сопоставления потоков строятся непосредственно на этих основах непрерывного времени, сокращая генерацию до нескольких шагов.
Реальная реализация
Сети оценки с учетом шума (NCSN), генерирующие фотореалистичные лица, следуя изученным градиентам оценок с помощью динамики Ланжевена.
Реконструкция медицинских изображений, например ускоренная МРТ, где полученная оценка действует как предварительная заполнение данных сканирования с недостаточной выборкой.
Генерация молекулярных и белковых структур при открытии лекарств, моделирование трехмерных атомных конфигураций с диффузией на основе оценок.
Синтез звуковых сигналов, при котором модели оценки уменьшают шум в сторону чистой речи или музыки, как в вокодерах на основе диффузии.
Риски и ограничения
Права на изображение и согласие могут стать юридическими рисками, если происхождение неясно.
Производительность модели может варьироваться в зависимости от освещения, демографии и окружающей среды.
Ложноположительные результаты могут остаться незамеченными, если не контролировать пороговые значения достоверности.
Дорожная карта реализации
Определите критерии приемки точности, стоимости отзыва и ошибок.
Тестируйте с данными, которые соответствуют реальным производственным условиям.
Добавьте человеческую проверку для прогнозов с низкой достоверностью или высокой эффективностью.
Отслеживайте дрейф модели и выполняйте ее повторную проверку после изменений камеры или набора данных.
Продолжайте исследовать
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Score-Based Generative Models quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Следующее руководство
Энергетические модели
Часто задаваемые вопросы
What is Score-Based Generative Models?
Генеративные модели на основе оценок создают данные, изучая градиент распределения данных — направление, благодаря которому любая зашумленная выборка больше похожа на реальные данные. Этот взгляд на оценочную функцию объединяет модели диффузии со стохастическими дифференциальными уравнениями и лежит в основе многих современных генераторов изображений.
Каков именно «балл», который изучают эти модели?
Оценка представляет собой градиент плотности данных журнала относительно входных данных — она указывает в направлении, которое увеличивает вероятность выборки.
Почему модели на основе оценок обучаются на данных, искаженных шумом в нескольких масштабах?
В регионах с низкой плотностью населения истинный показатель плохо определен; Возмущающие данные с несколькими уровнями шума делают сопоставление оценок удобным везде.
Какую процедуру выборки использовали ранние модели, основанные на баллах, для генерации данных?
Динамика Ланжевена неоднократно перемещает сэмпл в направлении партитуры и вводит небольшой шум, постепенно преобразуя случайный шум в реалистичные данные.
Какую важную связь установил документ SDE-SDE за 2021 год?
Сонг и др. унифицированные модели диффузии и оценки на основе стохастических дифференциальных уравнений с соответствующим детерминированным ОДУ потока вероятностей.
Как прогнозирование шума связано с прогнозированием оценки при сопоставлении оценок с шумоподавлением?
Сопоставление оценок шумоподавления показывает, что оценка равна отрицательному шуму, разделенному на дисперсию шума, что делает прогнозирование шума и прогнозирование оценки фактически одной и той же целью.