Генерація зображення у відео

Більшість сучасних систем зображення-відео є моделями прихованої дифузії відео. Вхідне зображення стискається в латент автокодером, і цей латент передається в мережу знешумлення на кожному кроці, часто шляхом об’єднання його по каналу з шумовими латентами кожного кадру. Багато моделей також вводять семантичне вбудовування зображення, наприклад вбудовування зображення CLIP, за допомогою перехресного звернення уваги. Тимчасові шари уваги дозволяють кадрам обмінюватися інформацією, тому модель усуває всі кадри разом у послідовний кліп, який починається з даного зображення. Stable Video Diffusion, випущений Stability AI у листопаді 2023 року, є добре задокументованим відкритим прикладом із варіантами з 14 і 25 кадрами. Комерційні інструменти, такі як Runway, Kling, Luma Dream Machine і Veo від Google, пропонують перетворення зображення у відео, а відкриті моделі, такі як Wan і HunyuanVideo, мають версії з умовним зображенням. Сила руху контролюється кількома способами. Функція Stable Video Diffusion приймає значення «відра руху», отримане з кількості навчальних кліпів оптичного потоку, а також кондиціонування частоти кадрів. Це також додає шум до кондиціонованого зображення. Додаткове посилення шуму дозволяє відео відходити далі від входу, надаючи більше руху, але меншу точність. Комерційні інструменти зазвичай показують повзунок руху, попередні налаштування камери або текстову підказку, що описує рух. Типові артефакти включають перетворення (плавлення об’єктів один в одного), дрейф ідентичності в обличчях через кілька секунд, додаткові або викривлені кінцівки під час швидкого руху та плавання текстури, де тонкі візерунки, здається, ковзають по поверхнях. Інші поширені проблеми — плоский «2,5D» паралакс, майже застиглий вихід при низьких налаштуваннях руху та фізичні помилки в рідинах і тканині. Поширеною помилкою є те, що модель розуміє 3D-сцену. Він передбачає вірогідні пікселі. Коли рухомий об’єкт показує, що було за ним, модель не має інформації про цю область і вигадує її.