Визуальное руководство по искусственному интеллекту

Преобразование текста в движение и анимация персонажей с использованием искусственного интеллекта

Искусственный интеллект с преобразованием текста в движение генерирует 3D-анимацию персонажей на основе письменной подсказки, например «человек перепрыгивает через лужу», создавая последовательность поз скелета, а не видеопикселей.

Прослушайте это руководствоОзвучено ИИ · ~3 min

На этой странице4 минуты чтения
  1. Обзор
  2. Глубокое погружение
  3. Реальная реализация
  4. Будущее анимации персонажей Text-to-Motion и искусственного интеллекта
  5. Применение на практике
  6. Продолжайте исследовать
  7. Часто задаваемые вопросы

Обзор

Сопутствующие инструменты извлекают захват движения из обычного видео с телефона. Вместе они дают инди-разработчикам, аниматорам и преподавателям быстрый первый набросок движения персонажа без мокапа или временной шкалы, настраиваемой вручную.

Глубокое погружение

Системы преобразования текста в движение генерируют позы тела, а не пиксели. Каждый кадр описывает скелет: положение и ориентацию корня, а также повороты каждого сустава, часто выражаемые в параметрической модели тела, такой как SMPL. Таким образом, клип представляет собой сетку кадров по признакам, поэтому генеративные методы, созданные для изображений и языка, можно адаптировать к движению. Самый известный подход — это модель диффузии движения (MDM), опубликованная исследователями из Тель-Авивского университета в 2022 году. Она начинается со случайного шума в форме видеоролика и использует преобразователь для поэтапного удаления этого шума, управляемый встраиванием текста из CLIP. Подобные модели учатся на наборах данных, в которых захват движения сочетается с письменными описаниями, в первую очередь на HumanML3D, чьи клипы были в основном взяты из коллекции захвата движений AMASS. Второе семейство рассматривает движение как язык: T2M-GPT и MoMask сжимают движение в дискретные токены с помощью квантования в стиле VQ-VAE, а затем генерируют эти токены так же, как языковая модель генерирует слова. Отдельная ветка полностью пропускает текст. Инструменты захвата движения с искусственным интеллектом, такие как Move.ai, DeepMotion, Rokoko Vision и Wonder Studio (теперь Autodesk Flow Studio), оценивают 3D-позы на основе обычного видео. Они обнаруживают ключевые точки 2D-тела в каждом кадре, переводят их в 3D и с течением времени сглаживают результат. Для многих проектов это заменяет костюмы для захвата и студии маркеров. В обоих случаях выходные данные должны быть перенацелены: сопоставлены с ригом персонажа, чьи названия костей, пропорции и поза в состоянии покоя отличаются от исходного скелета. Распространенным заблуждением является то, что эти инструменты обеспечивают законченное исполнение. Типичные недостатки включают скольжение ног, когда ступни скользят по земле, ступни проваливаются в пол, дрожание и окоченевшие руки, поскольку многие наборы данных плохо фиксируют пальцы. Создаваемые клипы обычно длятся всего несколько секунд, а подсказки, включающие длинные последовательности действий или объекты, остаются трудными. Большинство студий рассматривают результат как первый проход, который аниматор обрабатывает с помощью таких инструментов, как Maya, Blender или MotionBuilder.

Реальная реализация

Разработчик инди-игр предлагает модель диффузии движения для «усталый солдат хромает вперед и садится на ящик», экспортирует клип в формате FBX и перенацеливает его на персонажа Unity в качестве заполнителя перед финальной анимацией.

Небольшая анимационная студия снимает актера в гостиной на один телефон, пропускает отснятый материал через сервис видеозахвата и очищает полученный скелет в Blender вместо того, чтобы арендовать сцену захвата на основе маркеров.

Художник по предварительной визуализации блокирует сцену боя, создавая дюжину коротких видеороликов с текстом и движением, соединяя их с промежутками и показывая режиссеру время и постановку до того, как будут нарисованы какие-либо ключевые кадры.

Исследователь физиотерапии сравнивает походку пациента, снятую на клиническом видео с помощью безмаркерной оценки позы, с эталонными движениями при ходьбе, чтобы отслеживать изменения углов суставов в течение нескольких недель.

Будущее анимации персонажей Text-to-Motion и искусственного интеллекта

Исследования движутся к более длинным клипам, множеству взаимодействующих персонажей, движению, учитывающему физические ограничения, и персонажам, которые взаимодействуют с объектами и сценами, а не перемещаются в пустом пространстве. Игровые движки и пакеты анимации начинают интегрировать генерацию и захват видео как встроенные функции, что может сделать черновую анимацию доступной гораздо большему числу авторов. Сохраняются важные ограничения: тренировочные данные малы по сравнению с наборами данных изображений, они недостаточно отражают многие типы телосложения, культуры и стили движений, а качество рук и лиц отстает от движений всего тела. Ожидайте, что аниматоры будут играть центральную роль в направлении, исправлении и добавлении производительности к создаваемому движению.

Применение на практике

Почему это важно

  • Скорость и масштаб. Визуальный ИИ может автоматизировать задачи проверки, обнаружения и маркировки в любом масштабе.
  • Выбор сборки. Творческие группы могут быстрее создавать прототипы концепций с меньшим количеством доработок вручную.
  • Команда и рабочий процесс. Операции могут использовать изображения и видеосигналы, которые раньше было трудно обрабатывать.

Следите за

  • Права на изображение и согласие могут стать юридическими рисками, если происхождение неясно.
  • Производительность модели может варьироваться в зависимости от освещения, демографии и окружающей среды.
  • Ложноположительные результаты могут остаться незамеченными, если не контролировать пороговые значения достоверности.

Следующие шаги

  1. Определите критерии приемки точности, стоимости отзыва и ошибок.
  2. Тестируйте с данными, которые соответствуют реальным производственным условиям.
  3. Добавьте человеческую проверку для прогнозов с низкой достоверностью или высокой эффективностью.
  4. Отслеживайте дрейф модели и выполняйте ее повторную проверку после изменений камеры или набора данных.

Продолжайте исследовать

Бесплатная рассылка

Получайте ежедневный AI-обзор

Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.

Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.

Проверьте себя

Take the Text-to-Motion and AI Character Animation quiz

Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.

Начать тест

Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование

Часто задаваемые вопросы

Что такое анимация персонажей Text-to-Motion и AI?

Искусственный интеллект с преобразованием текста в движение генерирует 3D-анимацию персонажей на основе письменной подсказки, например «человек перепрыгивает через лужу», создавая последовательность поз скелета, а не видеопикселей. Сопутствующие инструменты извлекают захват движения из обычного видео с телефона. Вместе они дают инди-разработчикам, аниматорам и преподавателям быстрый первый набросок движения персонажа без мокапа или временной шкалы, настраиваемой вручную.

Что на самом деле генерирует модель преобразования текста в движение?

Модели Text-to-motion выводят позы тела кадр за кадром, обычно корневое положение и ориентацию, а также повороты суставов. Рендеринг и дизайн персонажей происходят на другом этапе разработки.

Какая модель предоставила встраивания текста, которые управляют исходной моделью диффузии движения?

MDM использует свой преобразователь шумоподавления на основе встраивания текста из CLIP, который связывает язык со смыслом, полученным из пар изображений и текста.

HumanML3D, ключевой набор данных для преобразования текста в движение, в основном черпал свои клипы из какого источника?

HumanML3D сочетает письменные описания с видеороликами, взятыми в основном из AMASS, большой коллекции стандартизированных данных захвата движения.

Почему важно, чтобы MDM прогнозировал чистое движение, а не добавленный шум на каждом этапе?

Поскольку сеть выводит реальные позы, обучение может напрямую наказывать за физически неправдоподобные результаты, например, за движение ног, когда они должны стоять на ногах.

Как системы на основе токенов, такие как T2M-GPT и MoMask, генерируют движение?

Эти модели изучают словарь токенов движения, а затем генерируют последовательности токенов, подобно тому, как языковая модель генерирует текст.

Продолжайте учиться

Связанные руководства

Другие руководства, выбранные по этой теме

Получите бесплатный AI-сертификатКороткий бесплатный курс и экзамен. Без стоимости, без карты. Около 2,5 часов.Начать бесплатно →