Генеративні моделі на основі балів
Генеративні моделі на основі балів створюють дані, вивчаючи градієнт розподілу даних — напрямок, у якому будь-який зашумлений зразок виглядає більше як справжні дані.
Огляд
This score-function view unifies diffusion models with stochastic differential equations and underpins many modern image generators.
Глибоке занурення
Замість прямого моделювання ймовірності моделі на основі балів вивчають оцінку: градієнт логарифмічної щільності ймовірності щодо вхідних даних. Щоб отримати нові дані, достатньо знати, як підштовхнути вибірку, щоб збільшити її ймовірність. Робота Ян Сонга та Стефано Ермона у 2019 році навчила мережу оцінювати цю оцінку за багатьма рівнями шуму за допомогою зіставлення оцінок усунення шуму, а потім згенерувала зразки з динамікою Ланжевена — кілька разів крокуючи по оцінці та додаючи невеликий шум. Їх стаття SDE за 2021 рік показала, що дифузія та моделі на основі балів є двома гранями одного безперервного процесу, описаного стохастичним диференціальним рівнянням. Важливо те, що кожен SDE має відповідний детермінований «потік ймовірностей» ODE, який має однакові маргінали, що забезпечує точні ймовірності та швидку вибірку.
Технічне розуміння
Безпосередньо оцінити оцінку чистих даних важко, якщо дані розріджені, тому модель навчається на даних, збурених гаусовим шумом у кількох масштабах. Зіставлення балів усунення шумів дає доступну ціль: оцінка розподілу шумів дорівнює напрямку шуму, поділеному на дисперсію шуму, тому прогнозування шуму та прогнозування оцінки — це, по суті, одне й те саме. Вибірка вирішує SDE зі зворотним часом (або еквівалентний ODE ймовірнісного потоку), починаючи з чистого гаусового шуму.
Стратегічний вплив
Швидкість і масштаб
Візуальний штучний інтелект може автоматизувати масштабні завдання перевірки, виявлення та позначення тегами.
Створіть вибір
Творчі групи можуть створювати прототипи концепцій швидше з меншою кількістю переглядів вручну.
Команда та робочий процес
Операції можуть використовувати зображення та відеосигнали, які раніше було важко обробити.
Майбутнє генеративних моделей на основі балів
Рамка score-SDE є теоретичним двигуном значної частини прогресу генеративного ШІ. Швидші чисельні розв’язувачі, кращі шумові розклади та ймовірнісний потік ODE дозволяють генерувати майже в реальному часі та точну оцінку ймовірності. Та сама ідея зіставлення балів поширюється за рамки зображень на аудіо, дизайн молекулярних і білкових структур, хмари точок і наукове моделювання, тоді як узгодженість і моделі зіставлення потоків будуються безпосередньо на цих основах безперервного часу, щоб скоротити генерацію до кількох кроків.
Реалізація в реальному світі
Шумно-умовна оціночна мережа (NCSN), що генерує фотореалістичні обличчя, дотримуючись вивчених градієнтів оцінки за допомогою динаміки Ланжевена.
Реконструкція медичного зображення, наприклад прискорена МРТ, де вивчений бал діє як попередній для заповнення даних сканування із недостатньою вибіркою.
Генерація молекулярних і білкових структур у відкритті ліків, моделювання 3D атомних конфігурацій за допомогою дифузії на основі балів.
Синтез аудіосигналу, де моделі балів приглушують шум у напрямку чистої мови чи музики, як у вокодерах на основі дифузії.
Ризики та огорожі
Права на зображення та згода можуть стати юридичними ризиками, якщо походження невідоме.
Продуктивність моделі може відрізнятися залежно від освітлення, демографічних показників і середовища.
Помилкові спрацьовування можуть залишитися непоміченими, якщо не відстежувати пороги довіри.
Дорожня карта впровадження
Визначте критерії прийнятності для точності, відкликання та вартості помилок.
Тестуйте з даними, які відповідають реальним умовам виробництва.
Додайте перевірку людиною для прогнозів із низьким рівнем достовірності або високого впливу.
Відстежуйте дрейф моделі та повторно перевіряйте після зміни камери або набору даних.
Продовжуйте досліджувати
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Score-Based Generative Models quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Наступний посібник
Енергетичні моделі
Часті запитання
What is Score-Based Generative Models?
Генеративні моделі на основі балів створюють дані, вивчаючи градієнт розподілу даних — напрямок, у якому будь-який зашумлений зразок виглядає більше як справжні дані. Цей перегляд функції оцінки об’єднує моделі дифузії зі стохастичними диференціальними рівняннями та лежить в основі багатьох сучасних генераторів зображень.
Яку саме «оцінку» вивчають ці моделі?
Оцінка — це градієнт щільності даних журналу відносно вхідних даних — він вказує в напрямку, що збільшує ймовірність вибірки.
Чому моделі на основі балів навчаються на даних, пошкоджених шумом у кількох масштабах?
У регіонах з низькою щільністю справжня оцінка погано визначена; тривожні дані з декількома рівнями шуму роблять зіставлення оцінок доступним усюди.
Яку процедуру вибірки використовували ранні моделі на основі балів для отримання даних?
Динаміка Ланжевена постійно переміщує семпл у напрямку партитури та вводить невеликий шум, поступово перетворюючи випадковий шум у реалістичні дані.
Який основний зв’язок встановив документ SDE 2021?
Пісня та ін. уніфікована дифузія та моделі на основі балів у рамках стохастичного диференціального рівняння з відповідним детермінованим ODE потоку ймовірностей.
Яким чином передбачення шуму пов’язане з прогнозуванням оцінки під час зіставлення оцінок усунення шуму?
Зіставлення балів усунення шуму показує, що бал дорівнює негативному шуму, поділеному на дисперсію шуму, що робить прогнозування шуму та прогнозування балів фактично однаковими.