Какво стана
Asiae съобщава, че изследователски екип на UNIST е създал SVHighlights, бенчмарк, съдържащ 320 видеоклипа в осем спорта и общо 640,18 часа. Екипът също така разработи TF-SELECTOR, AI система, която съчетава сегментиране на сцени, разпознаване на реч, визуално-езикови модели и големи езикови модели за идентифициране на акценти в дълги спортни видеоклипове.
Asiae съобщава, че SVHighlights съдържа 320 видеоклипа, обхващащи футбол, бейзбол, баскетбол, волейбол, американски футбол, хокей на лед, ръгби и състезания, с обща продължителност от 640,18 часа. Средното видео е дълго около два часа, което изданието описва като 30 до 60 пъти по-дълго от предишните набори от данни и по-близо до дължината на действителните спортни предавания.
Според Asiae изследователите са използвали публично достъпни официални видеоклипове с акценти, курирани от професионални редактори като референтен стандарт. Тъй като точните местоположения на тези акценти в кадри с пълно съвпадение не бяха налични, екипът изгради алгоритъм за подравняване, който сравнява кадри на ниво пиксел, като същевременно използва хронологичен ред, за да разграничи оригиналните възпроизвеждания от повтарящите се повторения на излъчване. Изходът отчита процент грешки от 0,18% в автоматизирания процес на съвпадение.
Asiae също съобщава, че екипът е разработил TF-SELECTOR за дълги спортни видеоклипове. На SVHighlights се съобщава, че системата е надхвърлила следващия най-добър модел с 2,50 процентни пункта при HIT@1, 4,04 точки при HIT@K и 2,95 точки при пресичане над обединение. Тези цифри са твърдения от докладваното проучване; в източника не са предоставени независими резултати от репликация или тестове.
В доклада се казва, че проучването е прието от ACM KDD на 9 август и че наборът от данни и кодът са достъпни на страницата на проекта на изследователския екип. Той не предоставя цени, лицензионни условия, ограничения за достъп или изисквания за внедряване. Не е документирана наличност на търговски продукт. Докладването не беше независимо потвърдено тук.
Детайли за източника: asiae.co.kr ↗
Защо има значение
Извличането на спортни акценти в дълга форма е трудно за оценка, тъй като съществуващите набори от данни обикновено използват кратки клипове и изискват обширно ръчно етикетиране. Asiae казва, че SVHighlights използва професионално редактирани излъчвани акценти като референтен материал и автоматизиран метод за подравняване, за да свърже тези акценти с пълни съвпадения. Ако наборът от данни и кодът са достъпни, както е докладвано, изследователите може да имат по-реалистична основа за тестване на системи, предназначени да обработват пълни излъчвания, а не кратки откъси. Докладът не установява независимо по-широката валидност на бенчмарка, статуса на лицензиране или ефективността извън отчетените тестове.
Повечето сравнителни показатели за спортно видео разчитат отчасти на кратки клипове, защото ръчното идентифициране на интервали от акценти в пълни игри е скъпо. Докладваният подход би могъл да намали тежестта на етикетирането и да направи оценката по-представителна за реалните работни натоварвания за анализ на излъчване.
Бенчмарк, изграден от пълнометражни игри, може да разкрие проблеми, които тестовете с кратки клипове може да пропуснат, включително търсене на дълги разстояния, повтарящи се повторения, точност на времето и необходимостта да се класират само малък брой важни моменти от часове заснет материал.
Отчетените печалби за TF-SELECTOR са значими в рамките на оценката на проучването, но не трябва да се третират като доказателство за общо превъзходство. Изпълнението може да зависи от избраните спортове, стилове на излъчване, референтни акценти и показатели.
Практическо значение е, че изследователите и разработчиците на спортни медии биха могли да използват по-дълги стандартизирани тестове, за да сравнят системите за подчертаване, преди да ги внедрят за редактиране, откриване или търсене в архив. Остава неизвестно дали ресурсът е законно и технически използваем за тези цели.
Интерактивен механизъм: как всъщност работи
Разгледайте интерактивно основната технология зад тази разработка.
Which component of an AI application is the machine-learning model itself?
Какво да гледате след това
Съобщава се, че наборът от данни и кодът са достъпни чрез страницата на проекта на изследователския екип, но Asiae не уточнява лицензиране, условия за изтегляне, изисквания за изчисление или дали всички изходни видеоклипове могат да бъдат преразпределени. Следете за независими оценки на допълнителни спортове и телевизионни оператори, проверка дали професионално подбраните акценти въвеждат редакционни пристрастия и доказателства, че TF-SELECTOR подобрява практическите работни потоци извън докладваните сравнителни показатели.
Потвърдете дали SVHighlights може да се изтегли изцяло, какъв лиценз управлява видеоклиповете и анотациите и дали страницата на проекта предоставя възпроизводими инструкции и код за оценка.
Независимите изследователи трябва да тестват бенчмарка в лиги, езици, производствени стилове и спортове, които не са представени или са по-малко представени в докладваната колекция.
Използването на избрани от телевизионния оператор акценти може да кодира редакционни преценки, а не обективно определение на важността. Алтернативни пояснения или ориентирани към потребителя оценки могат да изяснят това ограничение.
Asiae не отчита цена, наличност на услугата, потребителски интерфейс, API или пакет за внедряване за TF-SELECTOR. Следователно неговата практическа достъпност извън изследователската среда е неизвестна.