Что случилось
Asiae сообщает, что исследовательская группа UNIST создала SVHighlights, тест, содержащий 320 видеороликов по восьми видам спорта общей продолжительностью 640,18 часов. Команда также разработала TF-SELECTOR, систему искусственного интеллекта, которая сочетает в себе сегментацию сцены, распознавание речи, модели визуального языка и большие языковые модели для определения основных моментов в длинных спортивных видеороликах.
Asiae сообщает, что SVHighlights содержит 320 видеороликов, охватывающих футбол, бейсбол, баскетбол, волейбол, американский футбол, хоккей, регби и гонки, общей продолжительностью 640,18 часов. Средняя продолжительность видео составляет около двух часов, что, по словам издания, в 30–60 раз длиннее, чем предыдущие наборы данных, и ближе к продолжительности реальных спортивных трансляций.
По данным Asiae, в качестве эталонного стандарта исследователи использовали общедоступные официальные видеоролики, подготовленные профессиональными редакторами. Поскольку точные местоположения этих самых ярких моментов в видеозаписи всего матча были недоступны, команда разработала алгоритм выравнивания, который сравнивает кадры на уровне пикселей, а также использует хронологический порядок, чтобы отличать оригинальные игры от повторяющихся повторов трансляции. Торговая точка сообщает о частоте ошибок в 0,18% в процессе автоматического сопоставления.
Asiae также сообщает, что команда разработала TF-SELECTOR для длинных спортивных видеороликов. Сообщается, что на SVHighlights система превзошла следующую лучшую модель на 2,50 процентных пункта при HIT@1, на 4,04 балла при HIT@K и на 2,95 процентных пункта при пересечении через объединение. Эти цифры являются утверждениями из опубликованного исследования; в источнике не представлены независимые репликации или результаты испытаний.
В отчете говорится, что исследование было принято в ACM KDD 9 августа и что набор данных и код доступны на странице проекта исследовательской группы. В нем не указаны цены, условия лицензирования, ограничения доступа или требования к реализации. Коммерческое наличие продукта не документировано. Сообщение здесь не было независимо подтверждено.
Подробности об источнике: asiae.co.kr ↗
Почему это важно
Извлечение длинных спортивных моментов сложно оценить, поскольку в существующих наборах данных обычно используются короткие клипы и требуется обширная маркировка вручную. Asiae утверждает, что SVHighlights использует профессионально отредактированные основные моменты телетрансляций в качестве справочного материала и метод автоматического выравнивания, позволяющий соединить эти основные моменты с полными совпадениями. Если набор данных и код будут доступны в том виде, в каком они заявлены, у исследователей может быть более реалистичная основа для тестирования систем, предназначенных для обработки полных трансляций, а не коротких отрывков. Отчет независимо не устанавливает более широкую достоверность, статус лицензирования или производительность эталонного теста за пределами заявленных тестов.
Большинство тестов спортивного видео полагаются на короткие клипы отчасти потому, что ручное определение интервалов между яркими моментами в полных играх обходится дорого. Сообщаемый подход может уменьшить бремя маркировки и сделать оценку более репрезентативной для реальных рабочих нагрузок по анализу радиовещания.
Тест, построенный на основе полнометражных игр, может выявить проблемы, которые могут быть упущены при тестировании с короткими клипами, включая поиск на большом расстоянии, повторяющиеся повторы, точность синхронизации и необходимость ранжировать лишь небольшое количество важных моментов из многочасовых отснятых материалов.
Сообщенные улучшения для TF-SELECTOR имеют значение для оценки исследования, но их не следует рассматривать как доказательство общего превосходства. Производительность может зависеть от выбранных видов спорта, стилей трансляции, основных моментов и показателей.
Практическим выводом является то, что исследователи и разработчики спортивных СМИ могли бы использовать более длительные стандартизированные тесты для сравнения систем основных моментов, прежде чем развертывать их для редактирования, обнаружения или поиска в архиве. Остается неизвестным, можно ли использовать этот ресурс юридически и технически для этих целей.
Интерактивный механизм: как он на самом деле работает
Изучите технологию, лежащую в основе этой разработки, в интерактивном режиме.
Which component of an AI application is the machine-learning model itself?
Что посмотреть дальше
Сообщается, что набор данных и код доступны на странице проекта исследовательской группы, но Asiae не указывает лицензирование, условия загрузки, требования к вычислительным ресурсам или возможность повторного распространения всех исходных видео. Следите за независимыми оценками других видов спорта и телевещательных компаний, проверяйте, не вызывают ли профессионально выбранные основные моменты редакционную предвзятость, а также доказательства того, что TF-SELECTOR улучшает практические рабочие процессы, выходя за рамки заявленных контрольных показателей.
Убедитесь, что SVHighlights полностью доступен для загрузки, какая лицензия регулирует видео и аннотации, а также предоставляет ли страница проекта воспроизводимые инструкции и оценочный код.
Независимые исследователи должны протестировать эталонный показатель по лигам, языкам, стилям производства и видам спорта, которые не представлены или менее представлены в представленной коллекции.
Использование выбранных вещателями основных моментов может отражать редакционные суждения, а не объективное определение важности. Альтернативные аннотации или оценки, ориентированные на пользователя, могут прояснить это ограничение.
Asiae не сообщает о цене, доступности услуг, пользовательском интерфейсе, API или пакете развертывания для TF-SELECTOR. Поэтому его практическая доступность за пределами исследовательской среды неизвестна.