Napisy dźwiękowe

Napisy audio łączą sygnał audio z dowolnym tekstem opisowym. Podpis może identyfikować źródła dźwięku, cechy lub powiązania, podczas gdy automatyczne rozpoznawanie mowy skupia się na słowach wypowiadanych w sygnale. Opis taki jak śpiew ptaków nad bieżącą wodą ma zatem inny cel niż dosłowny zapis mowy. Clotho i AudioCaps udostępniają opublikowane zbiory danych do badania tego zadania; nadanie im nazw nie oznacza, że ​​są one jedynymi wzorcami lub że są zawsze najczęściej stosowane. Oryginalna publikacja Clotho podaje 4981 próbek audio trwających od 15 do 30 sekund i pięć odniesień do podpisów w każdym pliku. Wiele odniesień obsługuje różne opisy tej samej treści, zamiast wymagać jednego identycznego zdania od każdego komentatora. Jego wersja bazowa z uwagą wykorzystuje schemat koder-dekoder, wyposażony w 64 funkcje log-mel-band. Koder odwzorowuje sekwencję cech na reprezentacje, których dekoder używa do tworzenia słów. Ta konkretna linia bazowa nie ustanawia architektury każdego późniejszego systemu audio-językowego. W artykule dokonano oceny wygenerowanych napisów za pomocą kilku wskaźników referencyjno-porównawczych, w tym CIDEr. CIDEr porównuje ważoną informację tekstową w n-gramach i nie należy jej mylić z bezpośrednim pomiarem częstotliwości akustycznej, głośności lub dowodem na obecność każdego wspomnianego zdarzenia. Ugruntowany opis wymaga również sprawdzenia faktycznego nagrania. Napisy inne niż głosowe mogą dostarczać informacji pomijanych w napisach głosowych, oferując możliwość wykorzystania ułatwień dostępu do oceny z docelowymi czytelnikami. Płynne sformułowanie pozostaje oddzielone od prawidłowej identyfikacji zdarzeń, a system wyłącznie dźwiękowy nie powinien wymyślać nieobsługiwanych atrybutów wizualnych ani szczegółów sceny.