Техническое РУКОВОДСТВО

Оценка видеогенераторов AI с помощью VBench

VBench — это набор тестов для моделей преобразования текста в видео.

Прослушайте это руководствоОзвучено ИИ · ~3 min

На этой странице3 минуты чтения
  1. Обзор
  2. Глубокое погружение
  3. Реальная реализация
  4. Будущее оценки видеогенераторов искусственного интеллекта с помощью VBench
  5. Применение на практике
  6. Продолжайте исследовать
  7. Часто задаваемые вопросы

Обзор

Он разделяет качество видео на 16 отдельных параметров, таких как согласованность объекта, плавность движения, динамичность и эстетическое качество, и оценивает каждый из них с помощью специального автоматического оценщика. Это важно, поскольку одно число не может показать, является ли видео резким, плавным, точным и действительно динамичным, а VBench делает эти компромиссы видимыми.

Глубокое погружение

VBench был представлен в конце 2023 года исследователями из S-Lab Наньянского технологического университета и Шанхайской лаборатории искусственного интеллекта и представлен на CVPR 2024. Его основная идея — декомпозиция. Вместо одной оценки, такой как FVD (расстояние видео по Фреше), он измеряет 16 измерений, сгруппированных в два семейства. Параметры качества видео определяют сам клип, независимо от подсказки: согласованность сюжета, согласованность фона, временное мерцание, плавность движения, степень динамики, эстетическое качество и качество изображения. Параметры согласованности условий видео определяют, насколько хорошо видео следует заданию: класс объекта, несколько объектов, действия человека, цвет, пространственные отношения, сцена, стиль внешнего вида, временной стиль и общая согласованность. Каждое измерение имеет свой собственный набор подсказок и специализированного оценщика, обычно существующую модель видения. Согласованность предметов позволяет сравнивать характеристики DINO в разных кадрах. Фоновая согласованность использует функции CLIP. Динамическая степень использует оптический поток. Эстетическое качество изображения и качество изображений используют изученные предикторы качества, а при проверке объектов и цвета используются модели обнаружения или субтитров. Авторы собрали аннотации человеческих предпочтений для каждого параметра и сообщили, что автоматические оценки хорошо с ними согласуются. Разбивка обнажает компромиссы, которые скрывает тотал. Почти замороженное видео может получить очень хорошие оценки по согласованности и плавности, но при этом иметь низкую оценку по динамическому уровню, поэтому чтение только среднего значения может поощрить робких моделей. Итоговый результат VBench не является полным рейтингом видеомоделей; он отражает выбранные подсказки, оценщики и веса. Позже работа расширила сюиту. В VBench++ добавлено преобразование изображения в видео и оценка достоверности, а VBench-2.0 нацелен на более глубокие свойства, такие как физика, здравый смысл и анатомия человека. Публичные арены, где люди голосуют за два анонимных клипа из одной и той же подсказки, отражают общее предпочтение, включая такие качества, как физически правдоподобное движение, которое автоматизированные оценщики еще не могут надежно измерить.

Реальная реализация

Лаборатория, выпускающая открытую видеомодель, сообщает об итоговых показателях VBench и разбивке по измерениям. Анализ показывает, что он лидирует по качеству изображения, но отстает по степени динамичности.

Разработчик сравнивает две настройки сэмплера и обнаруживает, что использование меньшего количества шагов снижает показатели плавности движения и временного мерцания. Это определяет их выбор между скоростью и качеством.

Команда разработчиков, составляющая шорт-лист видео API, объединяет цифры VBench с результатами публичного голосования, поскольку их пользователей больше всего волнует реалистичная физика и люди.

Исследователь видит, что модель получила очень высокие оценки по согласованности сюжета и фона, при этом создавая почти статичные клипы. Они проверяют измерение динамической степени, чтобы подтвердить это.

Будущее оценки видеогенераторов искусственного интеллекта с помощью VBench

Оценка видео смещается от качества поверхности к тому, правдоподобно ли ведут себя сгенерированные миры: объекты остаются твердыми, гравитация работает и руки удерживают нужное количество пальцев. На это нацелены такие тесты, как VBench-2.0 и тестовые наборы, ориентированные на физику, часто с использованием мультимодальных языковых моделей в качестве оценок, что поднимает новые вопросы о том, насколько надежны эти оценки. Более длинные клипы, звук и управление камерой также нуждаются в показателях, которые текущие пакеты охватывают лишь частично. Человеческие области, вероятно, останутся важными, поскольку они отражают общие предпочтения, но они дорогостоящи, чувствительны к представлению и их трудно воспроизвести, поэтому в этой области, вероятно, будут продолжать использоваться оба подхода.

Применение на практике

Почему это важно

  • Стоимость и бюджет. Архитектурные решения влияют на производительность и эксплуатационные расходы на протяжении многих лет.
  • Более четкие решения. Техническое образование помогает командам выбрать правильный стек, а не только самый новый.
  • Контроль качества. Лучший инженерный выбор снижает вероятность возникновения проблем с надежностью на производстве.

Следите за

  • Оптимизация одного теста может скрыть более широкие недостатки системы.
  • Затраты на инфраструктуру и техническое обслуживание часто недооцениваются.
  • Пробелы в безопасности и наблюдаемости могут увеличиваться по мере усложнения систем.

Следующие шаги

  1. Определите целевые показатели задержки, качества и стоимости перед внедрением.
  2. Тестирование при реалистичной нагрузке и условиях данных.
  3. Мониторинг прибора на наличие ошибок, дрейфа и влияния пользователя.
  4. Перед масштабированием подготовьте пути отката и реагирования на инциденты.

Продолжайте исследовать

Бесплатная рассылка

Получайте ежедневный AI-обзор

Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.

Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.

Проверьте себя

Пройдите викторину «Оценка генераторов AI‑видео с VBench»

Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.

Начать тест

Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование

Часто задаваемые вопросы

Что такое оценка видеогенераторов AI с помощью VBench?

VBench — это набор тестов для моделей преобразования текста в видео. Он разделяет качество видео на 16 отдельных параметров, таких как согласованность объекта, плавность движения, динамичность и эстетическое качество, и оценивает каждый из них с помощью специального автоматического оценщика. Это важно, поскольку одно число не может показать, является ли видео резким, плавным, точным и действительно динамичным, а VBench делает эти компромиссы видимыми.

Сколько измерений оценки определяет исходный VBench?

VBench разделяет качество генерации видео на 16 измерений, сгруппированных по качеству видео и согласованности условий видео.

Какое измерение покажет, что модель создает почти статичные видеоролики?

Динамический уровень использует оптический поток для измерения количества движения в видео. Замороженный клип здесь имеет низкую оценку, даже если он имеет высокую оценку последовательности.

Что использует VBench для измерения согласованности объектов в кадрах?

Согласованность объекта сравнивает характеристики объекта DINO в разных кадрах, чтобы убедиться, что он сохраняет одинаковый внешний вид.

Какие два семейства объединяют размеры VBench?

По параметрам качества видео оценивается клип независимо от подсказки, а по параметрам согласованности условий видео определяется, насколько хорошо видео следует подсказке.

Почему чтение только общего балла VBench может ввести в заблуждение?

Общие средние размеры, которые противоречат друг другу. Высокая согласованность может скрыть низкое движение, поэтому результаты для каждого измерения имеют значение.

Продолжайте учиться

Связанные руководства

Другие руководства, выбранные по этой теме

Получите бесплатный AI-сертификатКороткий бесплатный курс и экзамен. Без стоимости, без карты. Около 2,5 часов.Начать бесплатно →