ДалееСледующее руководство
Оценка рекомендательных систем: NDCG, процент попаданий и многое другое
Технический
Техническое РУКОВОДСТВО
VBench — это набор тестов для моделей преобразования текста в видео.
Прослушайте это руководствоОзвучено ИИ · ~3 min
Он разделяет качество видео на 16 отдельных параметров, таких как согласованность объекта, плавность движения, динамичность и эстетическое качество, и оценивает каждый из них с помощью специального автоматического оценщика. Это важно, поскольку одно число не может показать, является ли видео резким, плавным, точным и действительно динамичным, а VBench делает эти компромиссы видимыми.
VBench был представлен в конце 2023 года исследователями из S-Lab Наньянского технологического университета и Шанхайской лаборатории искусственного интеллекта и представлен на CVPR 2024. Его основная идея — декомпозиция. Вместо одной оценки, такой как FVD (расстояние видео по Фреше), он измеряет 16 измерений, сгруппированных в два семейства. Параметры качества видео определяют сам клип, независимо от подсказки: согласованность сюжета, согласованность фона, временное мерцание, плавность движения, степень динамики, эстетическое качество и качество изображения. Параметры согласованности условий видео определяют, насколько хорошо видео следует заданию: класс объекта, несколько объектов, действия человека, цвет, пространственные отношения, сцена, стиль внешнего вида, временной стиль и общая согласованность. Каждое измерение имеет свой собственный набор подсказок и специализированного оценщика, обычно существующую модель видения. Согласованность предметов позволяет сравнивать характеристики DINO в разных кадрах. Фоновая согласованность использует функции CLIP. Динамическая степень использует оптический поток. Эстетическое качество изображения и качество изображений используют изученные предикторы качества, а при проверке объектов и цвета используются модели обнаружения или субтитров. Авторы собрали аннотации человеческих предпочтений для каждого параметра и сообщили, что автоматические оценки хорошо с ними согласуются. Разбивка обнажает компромиссы, которые скрывает тотал. Почти замороженное видео может получить очень хорошие оценки по согласованности и плавности, но при этом иметь низкую оценку по динамическому уровню, поэтому чтение только среднего значения может поощрить робких моделей. Итоговый результат VBench не является полным рейтингом видеомоделей; он отражает выбранные подсказки, оценщики и веса. Позже работа расширила сюиту. В VBench++ добавлено преобразование изображения в видео и оценка достоверности, а VBench-2.0 нацелен на более глубокие свойства, такие как физика, здравый смысл и анатомия человека. Публичные арены, где люди голосуют за два анонимных клипа из одной и той же подсказки, отражают общее предпочтение, включая такие качества, как физически правдоподобное движение, которое автоматизированные оценщики еще не могут надежно измерить.
Лаборатория, выпускающая открытую видеомодель, сообщает об итоговых показателях VBench и разбивке по измерениям. Анализ показывает, что он лидирует по качеству изображения, но отстает по степени динамичности.
Разработчик сравнивает две настройки сэмплера и обнаруживает, что использование меньшего количества шагов снижает показатели плавности движения и временного мерцания. Это определяет их выбор между скоростью и качеством.
Команда разработчиков, составляющая шорт-лист видео API, объединяет цифры VBench с результатами публичного голосования, поскольку их пользователей больше всего волнует реалистичная физика и люди.
Исследователь видит, что модель получила очень высокие оценки по согласованности сюжета и фона, при этом создавая почти статичные клипы. Они проверяют измерение динамической степени, чтобы подтвердить это.
Оценка видео смещается от качества поверхности к тому, правдоподобно ли ведут себя сгенерированные миры: объекты остаются твердыми, гравитация работает и руки удерживают нужное количество пальцев. На это нацелены такие тесты, как VBench-2.0 и тестовые наборы, ориентированные на физику, часто с использованием мультимодальных языковых моделей в качестве оценок, что поднимает новые вопросы о том, насколько надежны эти оценки. Более длинные клипы, звук и управление камерой также нуждаются в показателях, которые текущие пакеты охватывают лишь частично. Человеческие области, вероятно, останутся важными, поскольку они отражают общие предпочтения, но они дорогостоящи, чувствительны к представлению и их трудно воспроизвести, поэтому в этой области, вероятно, будут продолжать использоваться оба подхода.
Бесплатная рассылка
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
VBench — это набор тестов для моделей преобразования текста в видео. Он разделяет качество видео на 16 отдельных параметров, таких как согласованность объекта, плавность движения, динамичность и эстетическое качество, и оценивает каждый из них с помощью специального автоматического оценщика. Это важно, поскольку одно число не может показать, является ли видео резким, плавным, точным и действительно динамичным, а VBench делает эти компромиссы видимыми.
VBench разделяет качество генерации видео на 16 измерений, сгруппированных по качеству видео и согласованности условий видео.
Динамический уровень использует оптический поток для измерения количества движения в видео. Замороженный клип здесь имеет низкую оценку, даже если он имеет высокую оценку последовательности.
Согласованность объекта сравнивает характеристики объекта DINO в разных кадрах, чтобы убедиться, что он сохраняет одинаковый внешний вид.
По параметрам качества видео оценивается клип независимо от подсказки, а по параметрам согласованности условий видео определяется, насколько хорошо видео следует подсказке.
Общие средние размеры, которые противоречат друг другу. Высокая согласованность может скрыть низкое движение, поэтому результаты для каждого измерения имеют значение.
Продолжайте учиться
Другие руководства, выбранные по этой теме
ДалееСледующее руководство
Оценка рекомендательных систем: NDCG, процент попаданий и многое другое
Технический