ДаліНаступний посібник
Sora та Text-to-Video
Візуальний ШІ
Візуальний AI GUIDE
Make-A-Video Text-to-Video
Make-A-Video — це система Meta 2022 року, яка перетворює текстову підказку на короткий відеоролик, не навчаючись на позначених парах текст-відео.
Послухайте цей посібникШІ-розказаний · ~2 min
На цій сторінці2 хвилини читання
Огляд
Це важливо, оскільки воно показало, що візуальні знання в моделях перетворення тексту в зображення можна «навчити» рухатися, використовуючи лише відео без міток.
Глибоке занурення
Make-A-Video, announced by Meta AI in September 2022, generates brief video clips from text prompts. Its key trick is decoupling appearance from motion: a text-to-image model learns what things look like from paired text-image data, while separate spatiotemporal layers learn how they move from video footage with no associated text. Meta said this reduced the need for paired text-video examples and that the research used publicly available datasets. Meta also described making videos from images and creating new videos similar to existing videos. The base model produces low-resolution, low-frame-rate clips, then dedicated networks interpolate extra frames and upscale spatial resolution. The result was strikingly coherent for its era, though clips were short, blurry, and prone to flicker and warping.
Реалізація в реальному світі
Анімація одного описового речення в короткий циклічний ролик для публікації в соціальних мережах
Втілення статичної концепції, як-от «плюшевий ведмедик малює портрет», у вигляді рухомої ілюстрації
Інтерполяція між двома наданими користувачем нерухомими зображеннями для створення відео з плавним переходом
Створення швидких чернеток уявних сцен для розкадровки перед будь-якими зйомками
Майбутнє Make-A-Video Text-to-Video
Рецепт Make-A-Video-зображення-попереднє-плюс-непозначене-рух засіяв всю хвилю перетворення тексту у відео. Його нащадки наголошують на довших кліпах із вищою роздільною здатністю, стабільними у часі з керованим рухом камери та звуком. Очікуйте, що основна ідея, повторне використання величезних знань про зображення та дешеве вивчення руху, збережеться навіть тоді, коли архітектури переходять у бік латентної дифузії на основі трансформаторів та уніфікованих моделей, які також допускають кондиціювання зображення чи відео для редагування та продовження.
Застосування на практиці
Чому це важливо
- Швидкість і масштаб. Візуальний штучний інтелект може автоматизувати масштабні завдання перевірки, виявлення та позначення тегами.
- Створіть вибір. Творчі групи можуть створювати прототипи концепцій швидше з меншою кількістю переглядів вручну.
- Команда та робочий процес. Операції можуть використовувати зображення та відеосигнали, які раніше було важко обробити.
Зверніть увагу на
- Права на зображення та згода можуть стати юридичними ризиками, якщо походження невідоме.
- Продуктивність моделі може відрізнятися залежно від освітлення, демографічних показників і середовища.
- Помилкові спрацьовування можуть залишитися непоміченими, якщо не відстежувати пороги довіри.
Наступні кроки
- Визначте критерії прийнятності для точності, відкликання та вартості помилок.
- Тестуйте з даними, які відповідають реальним умовам виробництва.
- Додайте перевірку людиною для прогнозів із низьким рівнем достовірності або високого впливу.
- Відстежуйте дрейф моделі та повторно перевіряйте після зміни камери або набору даних.
Продовжуйте досліджувати
Безплатний розсилок
Отримуйте щоденне зведення новин про ШІ
Три перевірені історії про ШІ щоробочого ранку, написані простою мовою. Безплатно назавжди, без реклами.
Один лист щотижня з понеділка по п'ятницю. Відписатися в один клік. Ми ніколи не продаємо та не передаємо вашу адресу.
Перевір себе
Take the Make-A-Video Text-to-Video quiz
Миттєва зворотна связь на кожну відповідь та сертифікат із перевіреним ідентифікатором, яким можна поділитися, після проходження курсу.
Підтримайте безплатну освіту у сфері ШІ. AI Understanding — це некомерційна організація 501(c)(3) — без реклами, без платних стін, назавжди. Зробіть пожертву
Часті запитання
Що таке Make-A-Video Text-to-Video?
Make-A-Video — це система Meta 2022 року, яка перетворює текстову підказку на короткий відеоролик, не навчаючись на позначених парах текст-відео. Це важливо, оскільки воно показало, що візуальні знання в моделях перетворення тексту в зображення можна «навчити» рухатися, використовуючи лише відео без міток.
Яке головне нововведення дозволило Make-A-Video уникнути потреби в позначених парах текст-відео?
Make-A-Video розв’язує проблему: модель перетворення тексту в зображення дізнається, як виглядають речі, із зображень із підписами, тоді як окремі часові шари вивчають рух із необробленого відео без міток.
Як Make-A-Video додає можливість руху до моделі зображення?
Він розширює 2D просторові звивини та увагу за допомогою нових часових шарів, які вивчають, як вміст змінюється з часом.
Що роблять етапи кадрової інтерполяції та супер-роздільності?
Після грубої чернетки з низькою роздільною здатністю та низькою частотою кадрів інтерполяція додає кадри, а модулі високої роздільної здатності підвищують роздільну здатність.
Що було типовим обмеженням результату Make-A-Video?
Ролики тривали всього кілька секунд, мали відносно низьку роздільну здатність і були схильні до тимчасового мерехтіння та спотворення.
Besides text prompts, what visual input can Make-A-Video use to create a video?
Meta said Make-A-Video can create videos from images as well as text prompts.
Продовжуйте вчитися
Пов'язані посібники
Інші посібники, вибрані для цієї теми