VolgendeVolgende gids
How to Edit Video by Editing Text with AI
Visuele AI
Visuele AI-GIDS
Tekst-naar-beweging AI genereert 3D-karakteranimatie op basis van een geschreven prompt, zoals "een persoon springt over een plas", waardoor een reeks skeletachtige houdingen ontstaat in plaats van videopixels.
Luister naar deze gidsAI-verteld · ~3 min
Gerelateerde tools extraheren bewegingsregistratie uit gewone telefoonvideo. Samen geven ze indie-ontwikkelaars, animators en docenten een snelle eerste schets van karakterbewegingen zonder mocap-pak of met de hand ingetoetste tijdlijn.
Tekst-naar-beweging-systemen genereren lichaamshoudingen, geen pixels. Elk frame beschrijft een skelet: een wortelpositie en -oriëntatie plus rotaties voor elk gewricht, vaak uitgedrukt in een parametrisch lichaamsmodel zoals SMPL. Een clip is dus een raster van frames op basis van kenmerken. Daarom kunnen generatieve technieken die voor beeld en taal zijn ontwikkeld, worden aangepast aan beweging. De bekendste aanpak is het Motion Diffusion Model (MDM), gepubliceerd door onderzoekers van de Universiteit van Tel Aviv in 2022. Het vertrekt van willekeurige ruis in de vorm van een bewegende clip en gebruikt een transformator om die ruis stap voor stap te verwijderen, aangestuurd door een tekstinbedding van CLIP. Modellen als deze leren van datasets die motion capture combineren met geschreven beschrijvingen, met name HumanML3D, waarvan de clips grotendeels afkomstig zijn uit de AMASS motion capture-collectie. Een tweede familie behandelt beweging als taal: T2M-GPT en MoMask comprimeren beweging tot discrete tokens met kwantisering in VQ-VAE-stijl, en genereren die tokens vervolgens op de manier waarop een taalmodel woorden genereert. Een aparte tak slaat de tekst volledig over. AI motion capture-tools zoals Move.ai, DeepMotion, Rokoko Vision en Wonder Studio (nu Autodesk Flow Studio) schatten 3D-poses op basis van gewone video. Ze detecteren 2D-body-keypoints in elk frame, tillen ze naar 3D en egaliseren het resultaat in de loop van de tijd. Voor veel projecten vervangt dit opnamepakken en markerstudio's. In beide gevallen moet de uitvoer opnieuw worden gericht: toegewezen aan een karakterinstallatie waarvan de botnamen, verhoudingen en rustposities verschillen van die van het bronskelet. Een veel voorkomende misvatting is dat deze tools voltooide prestaties leveren. Typische tekortkomingen zijn onder meer het glijden van de voeten, waarbij de voeten over de grond schaatsen, de voeten door de vloer zinken, trillingen en stijve handen, omdat veel datasets vingers slecht registreren. Gegenereerde clips duren meestal maar een paar seconden en aanwijzingen met lange actiescènes of objecten blijven moeilijk. De meeste studio's beschouwen de output als een eerste doorgang die een animator verfijnt in tools als Maya, Blender of MotionBuilder.
Een ontwikkelaar van indiegames vraagt om een bewegingsdiffusiemodel voor "een vermoeide soldaat hinkt naar voren en gaat op een krat zitten", exporteert de clip als FBX en target deze opnieuw op een Unity-personage als tijdelijke aanduiding vóór de definitieve animatie.
Een kleine animatiestudio filmt een acteur in een woonkamer met één telefoon, voert de beelden door een op video gebaseerde motion capture-service en ruimt het resulterende skelet op in Blender in plaats van een op markers gebaseerd opnamepodium te huren.
Een previsualisatiekunstenaar blokkeert een vechtscène door een tiental korte tekst-naar-bewegingsfragmenten te genereren, deze met tussenstukken aan elkaar te naaien en de timing en enscenering van de regisseur te laten zien voordat er keyframes worden getekend.
Een onderzoeker op het gebied van de fysiotherapie vergelijkt het looppatroon van een patiënt, vastgelegd op een klinische video met een markerloze houdingsschatting, met referentieloopbewegingen om de veranderingen in de gewrichtshoeken gedurende weken bij te houden.
Onderzoek beweegt zich in de richting van langere clips, meerdere op elkaar inwerkende karakters, bewegingen die fysieke beperkingen respecteren, en karakters die interactie hebben met objecten en scènes in plaats van te bewegen in de lege ruimte. Game-engines en animatiepakketten beginnen generatie- en video-opname te integreren als ingebouwde functies, waardoor ruwe animatie voor veel meer makers beschikbaar zou kunnen worden. Er blijven belangrijke beperkingen bestaan: trainingsgegevens zijn klein in vergelijking met beeldgegevenssets, ze vertegenwoordigen veel lichaamstypes, culturen en bewegingsstijlen onderrepresentatief, en de kwaliteit van handen en gezichten blijft achter bij bewegingen van het hele lichaam. Verwacht dat animators een centrale rol blijven spelen bij het regisseren, corrigeren en toevoegen van prestaties aan de gegenereerde beweging.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
Tekst-naar-beweging AI genereert 3D-karakteranimatie op basis van een geschreven prompt, zoals "een persoon springt over een plas", waardoor een reeks skeletachtige houdingen ontstaat in plaats van videopixels. Gerelateerde tools extraheren bewegingsregistratie uit gewone telefoonvideo. Samen geven ze indie-ontwikkelaars, animators en docenten een snelle eerste schets van karakterbewegingen zonder mocap-pak of met de hand ingetoetste tijdlijn.
Tekst-naar-bewegingsmodellen voeren lichaamshoudingen frame voor frame uit, meestal een basispositie en -oriëntatie plus gewrichtsrotaties. Rendering en karakterontwerp vinden elders in de pijplijn plaats.
MDM conditioneert de ruisonderdrukking van de transformator op een tekstinsluiting van CLIP, die taal koppelt aan de betekenis die wordt geleerd uit beeld- en tekstparen.
HumanML3D combineert geschreven beschrijvingen met bewegingsfragmenten die grotendeels afkomstig zijn uit AMASS, een grote verzameling gestandaardiseerde bewegingsregistratiegegevens.
Omdat het netwerk daadwerkelijke poses uitvoert, kan training fysiek onwaarschijnlijke resultaten direct bestraffen, zoals het bewegen van voeten terwijl ze geplant zouden moeten worden.
Deze modellen leren een vocabulaire van bewegingstokens en genereren vervolgens tekenreeksen, net zoals een taalmodel tekst genereert.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
How to Edit Video by Editing Text with AI
Visuele AI