ДалееСледующее руководство
Как редактировать видео с помощью текста и ИИ
Визуальный ИИ
Визуальное руководство по искусственному интеллекту
Искусственный интеллект с преобразованием текста в движение генерирует 3D-анимацию персонажей на основе письменной подсказки, например «человек перепрыгивает через лужу», создавая последовательность поз скелета, а не видеопикселей.
Прослушайте это руководствоОзвучено ИИ · ~3 min
Сопутствующие инструменты извлекают захват движения из обычного видео с телефона. Вместе они дают инди-разработчикам, аниматорам и преподавателям быстрый первый набросок движения персонажа без мокапа или временной шкалы, настраиваемой вручную.
Системы преобразования текста в движение генерируют позы тела, а не пиксели. Каждый кадр описывает скелет: положение и ориентацию корня, а также повороты каждого сустава, часто выражаемые в параметрической модели тела, такой как SMPL. Таким образом, клип представляет собой сетку кадров по признакам, поэтому генеративные методы, созданные для изображений и языка, можно адаптировать к движению. Самый известный подход — это модель диффузии движения (MDM), опубликованная исследователями из Тель-Авивского университета в 2022 году. Она начинается со случайного шума в форме видеоролика и использует преобразователь для поэтапного удаления этого шума, управляемый встраиванием текста из CLIP. Подобные модели учатся на наборах данных, в которых захват движения сочетается с письменными описаниями, в первую очередь на HumanML3D, чьи клипы были в основном взяты из коллекции захвата движений AMASS. Второе семейство рассматривает движение как язык: T2M-GPT и MoMask сжимают движение в дискретные токены с помощью квантования в стиле VQ-VAE, а затем генерируют эти токены так же, как языковая модель генерирует слова. Отдельная ветка полностью пропускает текст. Инструменты захвата движения с искусственным интеллектом, такие как Move.ai, DeepMotion, Rokoko Vision и Wonder Studio (теперь Autodesk Flow Studio), оценивают 3D-позы на основе обычного видео. Они обнаруживают ключевые точки 2D-тела в каждом кадре, переводят их в 3D и с течением времени сглаживают результат. Для многих проектов это заменяет костюмы для захвата и студии маркеров. В обоих случаях выходные данные должны быть перенацелены: сопоставлены с ригом персонажа, чьи названия костей, пропорции и поза в состоянии покоя отличаются от исходного скелета. Распространенным заблуждением является то, что эти инструменты обеспечивают законченное исполнение. Типичные недостатки включают скольжение ног, когда ступни скользят по земле, ступни проваливаются в пол, дрожание и окоченевшие руки, поскольку многие наборы данных плохо фиксируют пальцы. Создаваемые клипы обычно длятся всего несколько секунд, а подсказки, включающие длинные последовательности действий или объекты, остаются трудными. Большинство студий рассматривают результат как первый проход, который аниматор обрабатывает с помощью таких инструментов, как Maya, Blender или MotionBuilder.
Разработчик инди-игр предлагает модель диффузии движения для «усталый солдат хромает вперед и садится на ящик», экспортирует клип в формате FBX и перенацеливает его на персонажа Unity в качестве заполнителя перед финальной анимацией.
Небольшая анимационная студия снимает актера в гостиной на один телефон, пропускает отснятый материал через сервис видеозахвата и очищает полученный скелет в Blender вместо того, чтобы арендовать сцену захвата на основе маркеров.
Художник по предварительной визуализации блокирует сцену боя, создавая дюжину коротких видеороликов с текстом и движением, соединяя их с промежутками и показывая режиссеру время и постановку до того, как будут нарисованы какие-либо ключевые кадры.
Исследователь физиотерапии сравнивает походку пациента, снятую на клиническом видео с помощью безмаркерной оценки позы, с эталонными движениями при ходьбе, чтобы отслеживать изменения углов суставов в течение нескольких недель.
Исследования движутся к более длинным клипам, множеству взаимодействующих персонажей, движению, учитывающему физические ограничения, и персонажам, которые взаимодействуют с объектами и сценами, а не перемещаются в пустом пространстве. Игровые движки и пакеты анимации начинают интегрировать генерацию и захват видео как встроенные функции, что может сделать черновую анимацию доступной гораздо большему числу авторов. Сохраняются важные ограничения: тренировочные данные малы по сравнению с наборами данных изображений, они недостаточно отражают многие типы телосложения, культуры и стили движений, а качество рук и лиц отстает от движений всего тела. Ожидайте, что аниматоры будут играть центральную роль в направлении, исправлении и добавлении производительности к создаваемому движению.
Бесплатная рассылка
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Искусственный интеллект с преобразованием текста в движение генерирует 3D-анимацию персонажей на основе письменной подсказки, например «человек перепрыгивает через лужу», создавая последовательность поз скелета, а не видеопикселей. Сопутствующие инструменты извлекают захват движения из обычного видео с телефона. Вместе они дают инди-разработчикам, аниматорам и преподавателям быстрый первый набросок движения персонажа без мокапа или временной шкалы, настраиваемой вручную.
Модели Text-to-motion выводят позы тела кадр за кадром, обычно корневое положение и ориентацию, а также повороты суставов. Рендеринг и дизайн персонажей происходят на другом этапе разработки.
MDM использует свой преобразователь шумоподавления на основе встраивания текста из CLIP, который связывает язык со смыслом, полученным из пар изображений и текста.
HumanML3D сочетает письменные описания с видеороликами, взятыми в основном из AMASS, большой коллекции стандартизированных данных захвата движения.
Поскольку сеть выводит реальные позы, обучение может напрямую наказывать за физически неправдоподобные результаты, например, за движение ног, когда они должны стоять на ногах.
Эти модели изучают словарь токенов движения, а затем генерируют последовательности токенов, подобно тому, как языковая модель генерирует текст.
Продолжайте учиться
Другие руководства, выбранные по этой теме
ДалееСледующее руководство
Как редактировать видео с помощью текста и ИИ
Визуальный ИИ