DalšíDalší průvodce
Jak upravit video úpravou textu pomocí AI
Vizuální AI
Vizuální průvodce AI
AI pro převod textu na pohyb generuje 3D animaci postavy z psaného zadání, například „osoba přeskočí kaluž“, a vytváří sekvenci kosterních pozic místo pixelů videa.
Poslechněte si tento návodAI-vyprávěný · ~3 min
Související nástroje extrahují zachycení pohybu z běžného telefonního videa. Společně poskytují nezávislým vývojářům, animátorům a pedagogům rychlý první návrh pohybu postavy bez potřeby mocap obleku nebo ručně klíčovaného časové osy.
Text-to-motion systems generate body poses, not pixels. Each frame describes a skeleton: a root position and orientation plus rotations for each joint, often expressed on a parametric body model such as SMPL. A clip is therefore a grid of frames by features, which is why generative techniques built for images and language can be adapted to movement. The best-known approach is the Motion Diffusion Model (MDM), published by researchers at Tel Aviv University in 2022. It starts from random noise shaped like a motion clip and uses a transformer to remove that noise step by step, steered by a text embedding from CLIP. Models like this learn from datasets that pair motion capture with written descriptions, most notably HumanML3D, whose clips were drawn largely from the AMASS motion capture collection. A second family treats motion like language: T2M-GPT and MoMask compress movement into discrete tokens with VQ-VAE-style quantization, then generate those tokens the way a language model generates words. A separate branch skips text entirely. AI motion capture tools such as Move.ai, DeepMotion, Rokoko Vision and Wonder Studio (now Autodesk Flow Studio) estimate 3D poses from ordinary video. They detect 2D body keypoints in each frame, lift them into 3D, and smooth the result over time. For many projects this replaces capture suits and marker studios. In both cases the output must be retargeted: mapped onto a character rig whose bone names, proportions and rest pose differ from the source skeleton. A common misconception is that these tools deliver finished performances. Typical flaws include foot sliding, where feet skate along the ground, feet sinking through the floor, jitter, and stiff hands, because many datasets record fingers poorly. Generated clips are usually only a few seconds long, and prompts involving long action sequences or objects remain difficult. Most studios treat the output as a first pass that an animator refines in tools like Maya, Blender or MotionBuilder.
Nezávislý vývojář her zadá modelu pro difúzi pohybu „unavený voják kulhá vpřed a sedne si na bednu“, exportuje klip jako FBX a přenese jej na postavu v Unity jako zástupný model před finální animací.
Malé animační studio natočí herce v obývacím pokoji jedním telefonem, projde záběr skrze službu video‑založeného zachycení pohybu a vyčistí vzniklý kostr v Blenderu místo pronájmu scény s markerovým zachycením.
Umělec previsualizace načrtně bojovou scénu vytvořením tucet krátkých klipů text‑na‑pohyb, spojí je pomocí in‑betweeningu a ukáže režisérovi načasování a uspořádání ještě před tím, než jsou nakresleny jakékoli klíčové snímky.
Výzkumník fyzioterapie porovnává chůzi pacienta, zachycenou z klinického videa pomocí odhadu pozice bez markerů, s referenčními chůzemi, aby sledoval změny úhlů kloubů během týdnů.
Výzkum směřuje k delším klipům, více interagujícím postavám, pohybu respektujícím fyzikální omezení a postavám, které interagují s objekty a scénami místo pohybu ve volném prostoru. Herní enginy a animační balíčky začínají integrovat generování a záznam videa jako vestavěné funkce, což by mohlo udělat hrubou animaci dostupnou mnohem více tvůrcům. Důležité omezení zůstávají: tréninková data jsou malá ve srovnání s datasety obrázků, podceňují mnoho typů těla, kultur a stylů pohybu, a kvalita pro ruce a obličeje zaostává za pohybem celého těla. Očekávejte, že animátoři budou nadále hrát centrální roli při řízení, opravách a přidávání výkonu do generovaného pohybu.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Text-to-motion AI generuje 3D animaci postavy z psaného podnětu, například „osoba skáče přes kaluž“, a vytváří sekvenci kosterních pozic místo pixelů videa. Související nástroje získávají motion capture z běžného videa pořízeného telefonem. Společně poskytují nezávislým vývojářům, animátorům a pedagogům rychlý první návrh pohybu postavy bez potřeby mocap obleku nebo ručně klíčovaného časového rozvrhu.
Text-to-motion modely výstupují tělesné pozice snímek po snímku, typicky kořenovou pozici a orientaci plus rotace kloubů. Rendering a design postavy probíhá jinde v pipeline.
MDM podmiňuje svůj transformer denoiser textovým embedováním z CLIP, které spojuje jazyk s významem naučeným z párů obrázků a textu.
HumanML3D spojuje psané popisy s pohybovými klipy převážně z AMASS, velké sbírky standardizovaných motion capture dat.
Protože síť výstupuje skutečné pozice, lze trénink přímo penalizovat fyzicky nepravděpodobné výsledky, jako je pohyb nohou, když by měly být pevně na zemi.
Tyto modely se učí slovník pohybových tokenů a poté generují sekvence tokenů, podobně jako jazykový model generuje text.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Jak upravit video úpravou textu pomocí AI
Vizuální AI