Co się stało
Asiae donosi, że zespół badawczy UNIST stworzył SVHighlights, test porównawczy zawierający 320 filmów z ośmiu dyscyplin sportowych i obejmujący łącznie 640,18 godzin. Zespół opracował także TF-SELECTOR, system sztucznej inteligencji, który łączy segmentację scen, rozpoznawanie mowy, modele wizjonersko-językowe i duże modele językowe w celu identyfikowania najważniejszych momentów w długich filmach sportowych.
Asiae podaje, że SVHighlights zawiera 320 filmów dotyczących piłki nożnej, baseballu, koszykówki, siatkówki, futbolu amerykańskiego, hokeja na lodzie, rugby i wyścigów, o łącznym czasie trwania 640,18 godzin. Przeciętny film trwa około dwóch godzin, co według serwisu jest od 30 do 60 razy dłuższe niż w poprzednich zbiorach danych i bliższe długości rzeczywistych transmisji sportowych.
Według Asiae jako standard odniesienia badacze wykorzystali publicznie dostępne oficjalne filmy z najważniejszymi momentami, których kuratorami byli profesjonalni redaktorzy. Ponieważ dokładne lokalizacje tych najważniejszych momentów w materiale z pełnym meczem były niedostępne, zespół opracował algorytm wyrównywania, który porównuje klatki na poziomie pikseli, zachowując jednocześnie porządek chronologiczny, aby odróżnić oryginalne odtworzenia od powtarzanych powtórek telewizyjnych. Placówka zgłasza poziom błędów w automatycznym procesie dopasowywania na poziomie 0,18%.
Asiae informuje również, że zespół opracował TF-SELECTOR do długich filmów sportowych. W przypadku SVHighlights system podobno przekroczył kolejny najlepszy model o 2,50 punktu procentowego w przypadku HIT@1, 4,04 punktu w przypadku HIT@K i 2,95 punktu w przypadku przecięcia przez zjednoczenie. Liczby te pochodzą ze zgłoszonego badania; w źródle nie podano żadnych niezależnych wyników replikacji ani testów.
Z raportu wynika, że badanie zostało zaakceptowane w ACM KDD 9 sierpnia, a zbiór danych i kod są dostępne na stronie projektu zespołu badawczego. Nie podaje cen, warunków licencjonowania, ograniczeń dostępu ani wymagań wdrożeniowych. Nie udokumentowano dostępności produktu na rynku. Doniesienia nie zostały tutaj niezależnie potwierdzone.
Szczegóły źródła: asiae.co.kr ↗
Dlaczego to ma znaczenie
Ekstrakcja długich wydarzeń sportowych jest trudna do oceny, ponieważ istniejące zbiory danych zazwyczaj wykorzystują krótkie klipy i wymagają obszernego ręcznego etykietowania. Asiae twierdzi, że SVHighlights wykorzystuje profesjonalnie zredagowane skróty transmisji jako materiał referencyjny oraz zautomatyzowaną metodę dopasowywania, aby połączyć te skróty z pełnymi dopasowaniami. Jeśli zbiór danych i kod będą dostępne zgodnie ze zgłoszeniem, badacze mogą mieć bardziej realistyczne podstawy do testowania systemów przeznaczonych do przetwarzania całych transmisji, a nie krótkich fragmentów. Raport nie ustala w sposób niezależny szerszej ważności, statusu licencjonowania ani wydajności benchmarku poza raportowanymi testami.
Większość testów porównawczych filmów sportowych opiera się na krótkich klipach, częściowo dlatego, że ręczne określanie odstępów między najważniejszymi momentami w pełnych grach jest kosztowne. Zgłoszone podejście mogłoby zmniejszyć obciążenie związane z etykietowaniem i sprawić, że ocena będzie bardziej reprezentatywna dla rzeczywistego obciążenia pracą związaną z analizą transmisji.
Test porównawczy zbudowany na podstawie pełnometrażowych gier może ujawnić problemy, które mogą zostać przeoczone w testach krótkich klipów, w tym wyszukiwanie na duże odległości, wielokrotne powtórki, dokładność synchronizacji i konieczność uszeregowania tylko niewielkiej liczby ważnych momentów z godzin materiału filmowego.
Zgłoszone korzyści dla TF-SELECTOR są znaczące w ocenie badania, ale nie należy ich traktować jako dowodu ogólnej wyższości. Wyniki mogą zależeć od wybranych dyscyplin sportowych, stylu transmisji, najważniejszych wydarzeń i wskaźników.
Praktyczną konsekwencją jest to, że badacze i twórcy mediów sportowych mogliby używać dłuższych, standardowych testów w celu porównania systemów najważniejszych wydarzeń przed wdrożeniem ich do edycji, odkrywania lub przeszukiwania archiwów. Nie wiadomo, czy zasób nadaje się do tych celów pod względem prawnym i technicznym.
Mechanizm interaktywny: jak to faktycznie działa
Poznaj interaktywnie technologię leżącą u podstaw tego rozwoju.
Which component of an AI application is the machine-learning model itself?
Co obejrzeć dalej
Zbiór danych i kod są podobno dostępne na stronie projektu zespołu badawczego, ale Asiae nie określa licencji, warunków pobierania, wymagań obliczeniowych ani możliwości redystrybucji wszystkich filmów źródłowych. Obserwuj niezależne oceny dodatkowych dyscyplin sportowych i nadawców, analizę, czy profesjonalnie wybrane najważniejsze momenty wprowadzają stronniczość redakcyjną, oraz dowody na to, że TF-SELECTOR poprawia praktyczny przepływ pracy wykraczający poza raportowane wskaźniki porównawcze.
Sprawdź, czy SVHighlights można w pełni pobrać, jaka licencja obejmuje filmy i adnotacje oraz czy strona projektu zawiera powtarzalne instrukcje i kod ewaluacyjny.
Niezależni badacze powinni przetestować punkt odniesienia dla lig, języków, stylów produkcji i dyscyplin sportowych, które nie są reprezentowane lub są mniej reprezentowane w raportowanym zbiorze.
Użycie najważniejszych momentów wybranych przez nadawcę może oznaczać ocenę redakcyjną, a nie obiektywną definicję ważności. Alternatywne adnotacje lub oceny skupione na użytkowniku mogłyby wyjaśnić to ograniczenie.
Asiae nie podaje ceny, dostępności usług, interfejsu użytkownika, interfejsu API ani pakietu wdrożeniowego dla TF-SELECTOR. Dlatego nieznana jest jego praktyczna dostępność poza środowiskiem badawczym.