NastępnyNastępny poradnik
How to Edit Video by Editing Text with AI
Wizualna sztuczna inteligencja
PRZEWODNIK Wizualnej AI
Animacja tekstu na ruch i postaci AI
Sztuczna inteligencja typu „text-to-motion” generuje animację postaci 3D na podstawie pisemnego komunikatu, np. „osoba przeskakuje kałużę”, tworząc sekwencję póz szkieletowych, a nie piksele wideo.
Posłuchaj tego przewodnikaOpowiadane przez sztuczną inteligencję · ~3 min
Na tej stronie4 minuty czytania
Przegląd
Powiązane narzędzia wyodrębniają przechwytywanie ruchu ze zwykłego wideo telefonu. Razem dają niezależnym twórcom, animatorom i pedagogom szybki pierwszy szkic ruchu postaci bez kostiumu i ręcznie wprowadzanej osi czasu.
Głębokie nurkowanie
Systemy zamiany tekstu na ruch generują pozy ciała, a nie piksele. Każda rama opisuje szkielet: położenie korzenia i orientację oraz obroty każdego stawu, często wyrażane w parametrycznym modelu ciała, takim jak SMPL. Klip jest zatem siatką klatek według cech, dlatego techniki generatywne zbudowane dla obrazów i języka można dostosować do ruchu. Najbardziej znanym podejściem jest model dyfuzji ruchu (MDM), opublikowany przez naukowców z Uniwersytetu w Tel Awiwie w 2022 r. Rozpoczyna się on od losowego szumu w kształcie ruchomego klipu i krok po kroku usuwa go za pomocą transformatora, sterując osadzanym tekstem z CLIP. Takie modele uczą się na podstawie zbiorów danych łączących przechwytywanie ruchu z opisami pisemnymi, w szczególności HumanML3D, którego klipy zostały w dużej mierze zaczerpnięte z kolekcji przechwytywania ruchu AMASS. Druga rodzina traktuje ruch jak język: T2M-GPT i MoMask kompresują ruch w oddzielne tokeny za pomocą kwantyzacji w stylu VQ-VAE, a następnie generują te tokeny w sposób, w jaki model języka generuje słowa. Oddzielna gałąź całkowicie pomija tekst. Narzędzia do przechwytywania ruchu AI, takie jak Move.ai, DeepMotion, Rokoko Vision i Wonder Studio (obecnie Autodesk Flow Studio) szacują pozy 3D na podstawie zwykłego wideo. Wykrywają kluczowe punkty ciała 2D w każdej klatce, przekształcają je w 3D i wygładzają wynik w czasie. W wielu projektach zastępuje to kostiumy do przechwytywania i studia markerów. W obu przypadkach wynik musi zostać ponownie skierowany: zmapowany na platformę postaci, której nazwy kości, proporcje i pozycja spoczynkowa różnią się od szkieletu źródłowego. Powszechnym błędnym przekonaniem jest to, że narzędzia te zapewniają gotową wydajność. Typowe wady obejmują ślizganie się stóp po ziemi, zapadanie się stóp w podłogę, drżenie i sztywność dłoni, ponieważ wiele zbiorów danych słabo rejestruje palce. Wygenerowane klipy trwają zwykle tylko kilka sekund, a podpowiedzi zawierające długie sekwencje akcji lub obiekty pozostają trudne. Większość studiów traktuje wynik jako pierwszy etap, który animator udoskonala w narzędziach takich jak Maya, Blender czy MotionBuilder.
Implementacja w świecie rzeczywistym
Niezależny twórca gier tworzy model dyfuzji ruchu dla „zmęczonego żołnierza kulejącego do przodu i siada na skrzyni”, eksportuje klip jako FBX i ponownie kieruje go do postaci Unity jako elementu zastępczego przed końcową animacją.
Małe studio animacji filmuje aktora w salonie jednym telefonem, przepuszcza materiał przez usługę przechwytywania ruchu opartą na wideo i oczyszcza powstały szkielet w Blenderze zamiast wynajmować scenę do przechwytywania opartą na znacznikach.
Artysta zajmujący się wstępną wizualizacją blokuje scenę walki, generując tuzin krótkich klipów przekształcających tekst na ruch, łącząc je z przerwami i pokazując reżyserowi synchronizację i inscenizację przed narysowaniem jakichkolwiek klatek kluczowych.
Badacz zajmujący się fizjoterapią porównuje chód pacjenta zarejestrowany na wideo klinicznym z oszacowaniem pozycji bez użycia znaczników z referencyjnymi ruchami chodzenia, aby śledzić zmiany kątów stawów na przestrzeni tygodni.
Przyszłość animacji postaci na ruch i sztucznej inteligencji
Badania zmierzają w kierunku dłuższych klipów, wielu wchodzących w interakcję postaci, ruchu uwzględniającego ograniczenia fizyczne oraz postaci, które wchodzą w interakcję z obiektami i scenami, zamiast poruszać się w pustej przestrzeni. Silniki gier i pakiety animacji zaczynają integrować generowanie i przechwytywanie wideo jako wbudowane funkcje, dzięki czemu szorstka animacja będzie dostępna dla znacznie większej liczby twórców. Pozostają istotne ograniczenia: dane treningowe są niewielkie w porównaniu ze zbiorami danych obrazowych, w niedostatecznym stopniu odzwierciedlają wiele typów budowy ciała, kultur i stylów ruchu, a jakość dłoni i twarzy pozostaje w tyle za ruchem całego ciała. Oczekuj, że animatorzy będą odgrywać centralną rolę w kierowaniu, poprawianiu i dodawaniu wydajności do wygenerowanego ruchu.
Wdrażanie tego w praktykę
Dlaczego to ma znaczenie
- Szybkość i skala. Wizualna sztuczna inteligencja może automatyzować zadania inspekcji, wykrywania i znakowania na dużą skalę.
- Buduj wybory. Zespoły kreatywne mogą szybciej prototypować koncepcje przy mniejszej liczbie ręcznych poprawek.
- Zespół i przepływ pracy. Operacje mogą wykorzystywać sygnały obrazu i wideo, które wcześniej były trudne do przetworzenia.
Uważaj na
- Prawa do wizerunku i zgoda mogą stanowić ryzyko prawne, jeśli pochodzenie jest niejasne.
- Wydajność modelu może się różnić w zależności od oświetlenia, demografii i środowiska.
- Fałszywie pozytywne wyniki mogą pozostać niezauważone, chyba że monitorowane są progi ufności.
Kolejne kroki
- Zdefiniuj kryteria akceptacji dotyczące kosztów precyzji, wycofania i błędów.
- Przetestuj na danych odpowiadających rzeczywistym warunkom produkcyjnym.
- Dodaj weryfikację manualną, aby prognozy były mało pewne lub miały duży wpływ.
- Śledź dryf modelu i przeprowadzaj ponowną weryfikację po zmianie kamery lub zbioru danych.
Odkrywaj dalej
Darmowy newsletter
Otrzymuj codzienne podsumowanie AI
Trzy zweryfikowane historie AI każdego poranka w dni robocze, napisane prostym angielskim. Bezpłatne na zawsze, bez reklam.
Jedno e‑mail każdego dnia roboczego. Wypisz się jednym kliknięciem. Nigdy nie sprzedajemy ani nie udostępniamy Twojego adresu.
Sprawdź się
Take the Text-to-Motion and AI Character Animation quiz
Natychmiastowa informacja zwrotna na każde pytanie oraz udostępnialny certyfikat z weryfikowalnym ID po zaliczeniu kursu.
Wspieraj darmową edukację AI. AI Understanding jest organizacją non-profit 501(c)(3) — bez reklam, bez płatnej ściany, zawsze. Przekaż darowiznę
Często zadawane pytania
Co to jest animacja tekstu na ruch i animacja postaci AI?
Sztuczna inteligencja typu „text-to-motion” generuje animację postaci 3D na podstawie pisemnego komunikatu, np. „osoba przeskakuje kałużę”, tworząc sekwencję póz szkieletowych, a nie piksele wideo. Powiązane narzędzia wyodrębniają przechwytywanie ruchu ze zwykłego wideo telefonu. Razem dają niezależnym twórcom, animatorom i pedagogom szybki pierwszy szkic ruchu postaci bez kostiumu i ręcznie wprowadzanej osi czasu.
Co właściwie generuje model zamiany tekstu na ruch?
Modele zamiany tekstu na ruch przedstawiają ciała wyjściowe klatka po klatce, zazwyczaj pozycja i orientacja korzenia oraz obroty stawów. Renderowanie i projektowanie postaci odbywa się w innym miejscu w przygotowaniu.
Który model dostarczył osadzony tekst, który steruje oryginalnym modelem rozproszenia ruchu?
MDM uzależnia swój transformator odszumiający od osadzania tekstu z CLIP, który łączy język ze znaczeniem wyuczonym z par obrazu i tekstu.
HumanML3D, kluczowy zbiór danych zajmujący się zamianą tekstu na ruch, w dużej mierze czerpał swoje klipy z jakiego źródła?
HumanML3D łączy pisemne opisy z klipami ruchu zaczerpniętymi głównie z AMASS, dużego zbioru standardowych danych dotyczących przechwytywania ruchu.
Dlaczego ma znaczenie to, że MDM przewiduje czysty ruch, a nie dodatkowy hałas na każdym kroku?
Ponieważ sieć podaje rzeczywiste pozy, trening może bezpośrednio karać fizycznie nieprawdopodobne wyniki, takie jak poruszanie stopami w czasie, gdy powinny być ustawione.
W jaki sposób systemy oparte na tokenach, takie jak T2M-GPT i MoMask, generują ruch?
Modele te uczą się słownictwa dotyczącego żetonów ruchu, a następnie generują sekwencje żetonów, podobnie jak model językowy generuje tekst.
Ucz się dalej
Powiązane przewodniki
Wybrano więcej przewodników na ten temat