Il prossimoProssima guida
Come montare video modificando il testo con l'IA
IA visiva
GUIDA AI visiva
L'intelligenza artificiale text-to-motion genera animazioni di personaggi 3D da un messaggio scritto come "una persona salta sopra una pozzanghera", producendo una sequenza di pose scheletriche anziché pixel video.
Ascolta questa guidaNarrato dall'IA · ~3 min
Gli strumenti correlati estraggono la motion capture dai normali video del telefono. Insieme offrono a sviluppatori, animatori ed educatori indipendenti una rapida prima bozza del movimento dei personaggi senza un costume da mocap o una sequenza temporale digitata manualmente.
Text-to-motion systems generate body poses, not pixels. Each frame describes a skeleton: a root position and orientation plus rotations for each joint, often expressed on a parametric body model such as SMPL. A clip is therefore a grid of frames by features, which is why generative techniques built for images and language can be adapted to movement. The best-known approach is the Motion Diffusion Model (MDM), published by researchers at Tel Aviv University in 2022. It starts from random noise shaped like a motion clip and uses a transformer to remove that noise step by step, steered by a text embedding from CLIP. Models like this learn from datasets that pair motion capture with written descriptions, most notably HumanML3D, whose clips were drawn largely from the AMASS motion capture collection. A second family treats motion like language: T2M-GPT and MoMask compress movement into discrete tokens with VQ-VAE-style quantization, then generate those tokens the way a language model generates words. A separate branch skips text entirely. AI motion capture tools such as Move.ai, DeepMotion, Rokoko Vision and Wonder Studio (now Autodesk Flow Studio) estimate 3D poses from ordinary video. They detect 2D body keypoints in each frame, lift them into 3D, and smooth the result over time. For many projects this replaces capture suits and marker studios. In both cases the output must be retargeted: mapped onto a character rig whose bone names, proportions and rest pose differ from the source skeleton. A common misconception is that these tools deliver finished performances. Typical flaws include foot sliding, where feet skate along the ground, feet sinking through the floor, jitter, and stiff hands, because many datasets record fingers poorly. Generated clips are usually only a few seconds long, and prompts involving long action sequences or objects remain difficult. Most studios treat the output as a first pass that an animator refines in tools like Maya, Blender or MotionBuilder.
Uno sviluppatore di giochi indipendente suggerisce un modello di diffusione del movimento per "un soldato stanco zoppica in avanti e si siede su una cassa", esporta la clip come FBX e la reindirizza su un personaggio Unity come segnaposto prima dell'animazione finale.
Un piccolo studio di animazione filma un attore in un soggiorno con un telefono, esegue il filmato attraverso un servizio di motion capture basato su video e ripulisce lo scheletro risultante in Blender invece di noleggiare uno stage di acquisizione basato su marker.
Un artista della previsualizzazione blocca una scena di combattimento generando una dozzina di brevi clip text-to-motion, cucendole con elementi intermedi e mostrando al regista i tempi e la messa in scena prima che vengano disegnati i fotogrammi chiave.
Un ricercatore di fisioterapia confronta l'andatura di un paziente, catturata da un video clinico con una stima della posa senza marcatori, con i movimenti di camminata di riferimento per tenere traccia dei cambiamenti negli angoli articolari nel corso delle settimane.
La ricerca si sta muovendo verso clip più lunghe, personaggi che interagiscono più, movimenti che rispettano i vincoli fisici e personaggi che interagiscono con oggetti e scene anziché muoversi nello spazio vuoto. I motori di gioco e i pacchetti di animazione stanno iniziando a integrare la generazione e l'acquisizione di video come funzionalità integrate, che potrebbero rendere l'animazione approssimativa disponibile a un numero molto maggiore di creatori. Rimangono limiti importanti: i dati di addestramento sono piccoli rispetto ai set di dati di immagini, sottorappresentano molti tipi di corpo, culture e stili di movimento e la qualità delle mani e dei volti è in ritardo rispetto al movimento di tutto il corpo. Aspettatevi che gli animatori mantengano un ruolo centrale nel dirigere, correggere e aggiungere performance al movimento generato.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
L'intelligenza artificiale text-to-motion genera animazioni di personaggi 3D da un messaggio scritto come "una persona salta sopra una pozzanghera", producendo una sequenza di pose scheletriche anziché pixel video. Gli strumenti correlati estraggono la motion capture dai normali video del telefono. Insieme offrono a sviluppatori, animatori ed educatori indipendenti una rapida prima bozza del movimento dei personaggi senza un costume da mocap o una sequenza temporale digitata manualmente.
I modelli di testo in movimento producono pose del corpo fotogramma per fotogramma, in genere una posizione e un orientamento di base più rotazioni articolari. Il rendering e il design dei personaggi avvengono in altre parti del processo.
MDM condiziona il suo denoiser del trasformatore su un incorporamento di testo da CLIP, che collega il linguaggio al significato appreso dalle coppie di immagini e testo.
HumanML3D abbina descrizioni scritte a clip di movimento tratte in gran parte da AMASS, un'ampia raccolta di dati di motion capture standardizzati.
Poiché la rete produce pose reali, l'allenamento può penalizzare direttamente risultati fisicamente non plausibili, come i piedi che si muovono mentre dovrebbero essere piantati.
Questi modelli apprendono un vocabolario di token di movimento e quindi generano sequenze di token, proprio come un modello linguistico genera testo.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Come montare video modificando il testo con l'IA
IA visiva