NastępnyNastępny poradnik
Niewidoczne znaki wodne dla obrazów i dźwięku AI
Wizualna sztuczna inteligencja
PRZEWODNIK Wizualnej AI
Oparta na dźwięku synchronizacja ust AI
Oparta na dźwięku synchronizacja ust AI edytuje wideo twarzy, dostosowując ruchy jej ust do nowej ścieżki mowy, przewidując kształt ust na podstawie samego dźwięku.
Posłuchaj tego przewodnikaOpowiadane przez sztuczną inteligencję · ~3 min
Na tej stronie4 minuty czytania
Przegląd
Ma to znaczenie przy dubbingowaniu lekcji i filmów na inne języki oraz przy utrwalaniu nagranych na nowo dialogów. Ta sama technika może sprawić, że prawdziwi ludzie będą sprawiać wrażenie wypowiadających słowa, których nigdy nie powiedzieli.
Głębokie nurkowanie
Wav2Lip, opublikowany w 2020 r. przez naukowców z IIIT Hyderabad (ACM Multimedia), to najbardziej znany model synchronizacji otwartych warg i przydatny szablon w tej dziedzinie. Dla każdej ramki docelowej generator otrzymuje trzy dane wejściowe: twarz z zamaskowaną dolną połową, ramkę odniesienia tej samej osoby, która zapewnia wygląd, oraz krótkie okno spektrogramu mel zawierającego dźwięk wokół tego momentu. Następnie sieć koderów i dekoderów maluje obszar ust, a wynik jest ponownie łączony z oryginalnym wideo. Kluczowym wkładem był wstępnie przeszkolony „ekspert” w zakresie rozróżniania synchronizacji oparty na SyncNet. Pozostaje zamrożony podczas treningu i ocenia, czy krótka seria klatek ust pasuje do dźwięku. Wcześniejsze podejścia szkoliły dyskryminator synchronizacji wspólnie z generatorem, a dyskryminatory te okazały się kiepskimi sędziami synchronizacji. Wav2Lip zastosował również oddzielny dyskryminator jakości wizualnej. Jego słabościami były kadry w ustach o niskiej rozdzielczości, rozmyte zęby i widoczne szwy lub migotanie na granicy maski. Późniejsze systemy, takie jak VideoReTalking, MuseTalk i oparta na dyfuzji LatenSync, mają na celu uzyskanie ostrzejszych i stabilniejszych wyników. Jakość ocenia się na kilka sposobów. LSE-D mierzy odległość pomiędzy osadzonymi plikami audio i wideo SyncNet; im niższa, tym lepsza. LSE-C mierzy pewność SyncNet, gdzie wyższa jest lepsza. Wskaźniki jakości obrazu, takie jak FID i oceny ludzkie, uwzględniają realizm. Powszechnym błędnym przekonaniem jest to, że dobry wynik synchronizacji oznacza realistyczny obraz. Przesadny ruch ust może uzyskać dobre wyniki, ale nadal wyglądać źle, dlatego istotna jest ocena człowieka. Jednym z wyzwań jest to, że wiele fonemów ma ten sam widoczny kształt ust, czyli visemów, więc mapowanie audio-usta odbywa się w trybie „wiele do jednego”. Niewłaściwe użycie wynika bezpośrednio z technologii: połączenie sklonowanego głosu z synchronizacją ruchu warg może dać przekonujące fałszywe oświadczenia. Badacze wykazali, że niedopasowania między fonemami i visemami, zwłaszcza wargi, które nie zamykają się na „m”, „b” i „p”, mogą ujawnić takie podróbki.
Implementacja w świecie rzeczywistym
Dostawca kursów online kopiuje wykład na język hiszpański i wykorzystuje synchronizację ruchu warg, tak aby usta instruktora pasowały do przetłumaczonego dźwięku, zwracając uwagę na zmianę w opisie filmu.
Edytor wideo synchronizuje usta aktora z linią dialogu nagraną ponownie po zdjęciach, za zgodą aktora, zamiast ponownie kręcić scenę.
Osoba weryfikująca fakty przegląda wirusowy klip przedstawiający polityka i zauważa, że usta nigdy nie zamykają się całkowicie przy dźwiękach „b”, „p” i „m”, co jest znanym objawem podróbki synchronizowanej z ruchem warg.
Badacz uruchamia Wav2Lip na zestawie klipów gadających głów i ocenia wyniki za pomocą LSE-D i LSE-C, aby porównać je z nowszym modelem synchronizacji warg opartym na dyfuzji.
Przyszłość opartej na dźwięku synchronizacji ust AI
Synchronizacja warg staje się standardową funkcją narzędzi do dubbingu i lokalizacji wideo, a badania zmierzają w kierunku wyższej rozdzielczości, stabilnych zębów i języka oraz synchronizacji całej mimiki twarzy i ruchu głowy, a nie tylko ust. Wykrywanie to wyścig zbrojeń: wskazówki kryminalistyczne, takie jak niedopasowanie fonemów i visemów, słabną w miarę ulepszania generatorów. Niektóre jurysdykcje zaczęły regulować zwodnicze media syntetyczne, szczególnie w okresie wyborów. Zgoda pokazanej osoby, jasne ujawnienie i oznaczenie pochodzenia prawdopodobnie pozostaną kluczem do odpowiedzialnego użycia.
Wdrażanie tego w praktykę
Dlaczego to ma znaczenie
- Szybkość i skala. Wizualna sztuczna inteligencja może automatyzować zadania inspekcji, wykrywania i znakowania na dużą skalę.
- Buduj wybory. Zespoły kreatywne mogą szybciej prototypować koncepcje przy mniejszej liczbie ręcznych poprawek.
- Zespół i przepływ pracy. Operacje mogą wykorzystywać sygnały obrazu i wideo, które wcześniej były trudne do przetworzenia.
Uważaj na
- Prawa do wizerunku i zgoda mogą stanowić ryzyko prawne, jeśli pochodzenie jest niejasne.
- Wydajność modelu może się różnić w zależności od oświetlenia, demografii i środowiska.
- Fałszywie pozytywne wyniki mogą pozostać niezauważone, chyba że monitorowane są progi ufności.
Kolejne kroki
- Zdefiniuj kryteria akceptacji dotyczące kosztów precyzji, wycofania i błędów.
- Przetestuj na danych odpowiadających rzeczywistym warunkom produkcyjnym.
- Dodaj weryfikację manualną, aby prognozy były mało pewne lub miały duży wpływ.
- Śledź dryf modelu i przeprowadzaj ponowną weryfikację po zmianie kamery lub zbioru danych.
Odkrywaj dalej
Darmowy newsletter
Otrzymuj codzienne podsumowanie AI
Trzy zweryfikowane historie AI każdego poranka w dni robocze, napisane prostym angielskim. Bezpłatne na zawsze, bez reklam.
Jedno e‑mail każdego dnia roboczego. Wypisz się jednym kliknięciem. Nigdy nie sprzedajemy ani nie udostępniamy Twojego adresu.
Sprawdź się
Rozwiąż quiz synchronizacji ust AI sterowanej dźwiękiem
Natychmiastowa informacja zwrotna na każde pytanie oraz udostępnialny certyfikat z weryfikowalnym ID po zaliczeniu kursu.
Wspieraj darmową edukację AI. AI Understanding jest organizacją non-profit 501(c)(3) — bez reklam, bez płatnej ściany, zawsze. Przekaż darowiznę
Często zadawane pytania
Co to jest synchronizacja ust AI sterowana dźwiękiem?
Oparta na dźwięku synchronizacja ust AI edytuje wideo twarzy, dostosowując ruchy jej ust do nowej ścieżki mowy, przewidując kształt ust na podstawie samego dźwięku. Ma to znaczenie przy dubbingowaniu lekcji i filmów na inne języki oraz przy utrwalaniu nagranych na nowo dialogów. Ta sama technika może sprawić, że prawdziwi ludzie będą sprawiać wrażenie wypowiadających słowa, których nigdy nie powiedzieli.
Dlaczego Wav2Lip maskuje dolną połowę twarzy docelowej?
Gdy prawdziwe usta są ukryte, generator musi polegać na dźwięku, aby określić kształt ust.
Co wyróżnia dyskryminator synchronizacji Wav2Lip od wcześniejszych podejść?
Dyskryminatorzy trenowani wspólnie z generatorem byli słabymi sędziami synchronizacji. Zamrożony ekspert daje niezawodny sygnał.
Jak należy czytać LSE-D?
LSE-D to odległość, więc mniejsze wartości oznaczają, że osadzanie dźwięku i ust jest bliżej, co oznacza lepszą synchronizację.
Jaka jest rola układu odniesienia w Wav2Lip?
Ramka odniesienia zapewnia tożsamość i teksturę. Dźwięk zapewnia kształt ust.
Jaka była znana wizualna słabość oryginalnego Wav2Lip?
Wav2Lip pracował nad niewielkimi kadrami twarzy, więc usta i zęby często wyglądały miękko w porównaniu z ostrzejszą otaczającą ramą.
Ucz się dalej
Powiązane przewodniki
Wybrano więcej przewodników na ten temat