Make-A-Video Text-to-Video
Make-A-Video — це система Meta 2022 року, яка перетворює текстову підказку на короткий відеоролик, не навчаючись на позначених парах текст-відео.
Огляд
It matters because it showed that the visual knowledge inside text-to-image models could be 'taught' to move using only unlabeled video.
Глибоке занурення
Make-A-Video, анонсований Meta AI у вересні 2022 року, генерує кілька секунд відео з такого речення, як «собака, одягнена в плащ супергероя, що летить по небу». Її ключовий прийом полягає в тому, щоб відокремити зовнішній вигляд від руху: модель тексту в зображення (побудована на спільному просторі тексту та зображення в стилі CLIP) дізнається, як виглядають речі з мільярдів зображень із підписами, тоді як окремі просторово-часові шари дізнаються, як речі рухаються лише з немаркованого відео. Це дозволяє уникнути дефіциту високоякісних пар текст-відео. Базова модель створює кліпи з низькою роздільною здатністю та низькою частотою кадрів, а потім спеціальні мережі інтерполюють додаткові кадри та високу просторову роздільну здатність. Результат був вражаюче цілісним для своєї епохи, хоча кліпи були короткими, розмитими та схильними до мерехтіння та деформації.
Технічне розуміння
Make-A-Video розширює звивини генерації двовимірних зображень і увагу до 3D, додаючи псевдочасові шари. Попередньо підготовлені просторові ваги закріплюються або налаштовуються, тоді як нові часові шари вивчають рух із необробленого відео, тому мітки текстового відео не потрібні. Потім мережа інтерполяції кадрів ущільнює часову шкалу, а модулі розповсюдження з високою роздільною здатністю підвищують просторову деталізацію, перетворюючи грубу чернетку з 16 кадрів із низькою роздільною здатністю на плавніший і чіткіший кліп у каскадному конвеєрі.
Стратегічний вплив
Швидкість і масштаб
Візуальний штучний інтелект може автоматизувати масштабні завдання перевірки, виявлення та позначення тегами.
Створіть вибір
Творчі групи можуть створювати прототипи концепцій швидше з меншою кількістю переглядів вручну.
Команда та робочий процес
Операції можуть використовувати зображення та відеосигнали, які раніше було важко обробити.
Майбутнє Make-A-Video Text-to-Video
Рецепт Make-A-Video-зображення-попереднє-плюс-непозначене-рух засіяв всю хвилю перетворення тексту у відео. Його нащадки наголошують на довших кліпах із вищою роздільною здатністю, стабільними у часі з керованим рухом камери та звуком. Очікуйте, що основна ідея, повторне використання величезних знань про зображення та дешеве вивчення руху, збережеться навіть тоді, коли архітектури переходять у бік латентної дифузії на основі трансформаторів та уніфікованих моделей, які також допускають кондиціювання зображення чи відео для редагування та продовження.
Реалізація в реальному світі
Анімація одного описового речення в короткий циклічний ролик для публікації в соціальних мережах
Втілення статичної концепції, як-от «плюшевий ведмедик малює портрет», у вигляді рухомої ілюстрації
Інтерполяція між двома наданими користувачем нерухомими зображеннями для створення відео з плавним переходом
Створення швидких чернеток уявних сцен для розкадровки перед будь-якими зйомками
Ризики та огорожі
Права на зображення та згода можуть стати юридичними ризиками, якщо походження невідоме.
Продуктивність моделі може відрізнятися залежно від освітлення, демографічних показників і середовища.
Помилкові спрацьовування можуть залишитися непоміченими, якщо не відстежувати пороги довіри.
Дорожня карта впровадження
Визначте критерії прийнятності для точності, відкликання та вартості помилок.
Тестуйте з даними, які відповідають реальним умовам виробництва.
Додайте перевірку людиною для прогнозів із низьким рівнем достовірності або високого впливу.
Відстежуйте дрейф моделі та повторно перевіряйте після зміни камери або набору даних.
Продовжуйте досліджувати
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Make-A-Video Text-to-Video quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Наступний посібник
Sora та Text-to-Video
Часті запитання
What is Make-A-Video Text-to-Video?
Make-A-Video — це система Meta 2022 року, яка перетворює текстову підказку на короткий відеоролик, не навчаючись на позначених парах текст-відео. Це важливо, оскільки воно показало, що візуальні знання в моделях перетворення тексту в зображення можна «навчити» рухатися, використовуючи лише відео без міток.
Яке головне нововведення дозволило Make-A-Video уникнути потреби в позначених парах текст-відео?
Make-A-Video розв’язує проблему: модель перетворення тексту в зображення дізнається, як виглядають речі, із зображень із підписами, тоді як окремі часові шари вивчають рух із необробленого відео без міток.
Як Make-A-Video додає можливість руху до моделі зображення?
Він розширює 2D просторові звивини та увагу за допомогою нових часових шарів, які вивчають, як вміст змінюється з часом.
Що роблять етапи кадрової інтерполяції та супер-роздільності?
Після грубої чернетки з низькою роздільною здатністю та низькою частотою кадрів інтерполяція додає кадри, а модулі високої роздільної здатності підвищують роздільну здатність.
Що було типовим обмеженням результату Make-A-Video?
Ролики тривали всього кілька секунд, мали відносно низьку роздільну здатність і були схильні до тимчасового мерехтіння та спотворення.