Il prossimoProssima guida
Perché i generatori di immagini AI sbagliano le mani
IA visiva
GUIDA AI visiva
I video con intelligenza artificiale sbagliano la fisica perché i generatori apprendono modelli statistici su come i pixel solitamente cambiano nel tempo, non le regole di massa, forza e collisione.
Ascolta questa guidaNarrato dall'IA · ~3 min
Imitano l'aspetto del movimento senza simulare ciò che lo causa. Questo è il motivo per cui gli oggetti svaniscono, i liquidi si comportano in modo strano, gli arti passano attraverso le cose e le clip rimangono corte, ed è importante per chiunque cerchi di giudicare se il filmato è reale o utilizza questi modelli per la pianificazione e la robotica.
I generatori video vengono addestrati su enormi raccolte di filmati per prevedere o eliminare il rumore dei fotogrammi. L'obiettivo formativo premia l'output che assomiglia al video reale. Non premia la produzione che obbedisce alla conservazione della massa o della quantità di moto. La fisica comune, come una palla che cade o una persona che cammina, è ben rappresentata nei dati e solitamente sembra corretta. Eventi rari o complessi, come la frantumazione di un vetro, una collisione specifica o il versamento di un liquido in un contenitore dalla forma strana, compaiono meno spesso e sono più difficili da apprendere. Il materiale tecnico di OpenAI su Sora ha rilevato che non modellava accuratamente interazioni come la frantumazione del vetro. La permanenza degli oggetti è un problema di memoria. Quando qualcosa è nascosto, il modello deve portare la sua identità attraverso cornici in cui è invisibile. I modelli partecipano a una quantità limitata di contesto, quindi gli oggetti nascosti possono tornare modificati o non tornare affatto. Anche causa ed effetto sono deboli: un morso, una fuoriuscita o un'ammaccatura dovrebbero lasciare un cambiamento duraturo, ma il modello può trattarlo come un evento visivo passeggero. La lunghezza della clip è limitata principalmente dal calcolo. Un video è rappresentato come token spaziotemporali e il costo dell'attenzione aumenta vertiginosamente con l'aumentare del numero di token, quindi molti prodotti generano secondi anziché minuti. I video più lunghi vengono spesso realizzati estendendo le clip, il che consente agli errori di aggravarsi. Un malinteso comune è che questi modelli contengano un motore fisico. Non lo fanno, anche se possono cogliere alcune regolarità fisiche implicite. I ricercatori hanno creato parametri di riferimento come Physics-IQ per testarlo e hanno scoperto che un risultato visivamente realistico non significa comprensione fisica. La ricerca sui modelli mondiali cerca di colmare il divario: la linea Genie di Google DeepMind genera ambienti interattivi, V-JEPA di Meta impara prevedendo in uno spazio di rappresentazione astratto anziché pixel e Cosmos di NVIDIA prende di mira l'intelligenza artificiale fisica come la robotica.
Una persona generata morde un biscotto, ma poi il biscotto non ha segni di morso. OpenAI ha nominato questo tipo di guasto tra i limiti di Sora quando ha presentato in anteprima il modello nel 2024.
Un cane cammina dietro un albero e esce dall'altra parte con un modello di pelo diverso, perché il modello non ha conservato un ricordo stabile dell'oggetto nascosto.
Le gambe di un corridore sembrano scambiarsi i lati a metà passo e i piedi scivolano sul terreno, il che dimostra che il modello ha imparato l'aspetto della corsa, non le forze di contatto coinvolte.
Una palla da basket passa attraverso il canestro, svanisce brevemente e riappare nelle mani di un giocatore, una sequenza che sembra fluida fotogramma dopo fotogramma ma non ha alcun senso fisico.
La plausibilità fisica è migliorata con la scala e con dati migliori, ed è probabile che continui a migliorare per le scene comuni. Casi più difficili, come causa ed effetto a lungo orizzonte, interazioni rare e permanenza affidabile degli oggetti attraverso lunghe occlusioni, potrebbero richiedere modifiche architettoniche come memoria esplicita, struttura 3D o simulazione ibrida piuttosto che la sola scala. I modelli mondiali mirati alla robotica e agli ambienti interattivi rappresentano un'area di ricerca attiva e i parametri di riferimento che mettono alla prova separatamente il realismo visivo e la correttezza fisica aiuteranno a mostrare progressi reali. Non è ancora chiaro se la pura previsione video possa apprendere una fisica efficace, e i ricercatori non sono d’accordo al riguardo.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
I video con intelligenza artificiale sbagliano la fisica perché i generatori apprendono modelli statistici su come i pixel solitamente cambiano nel tempo, non le regole di massa, forza e collisione. Imitano l'aspetto del movimento senza simulare ciò che lo causa. Questo è il motivo per cui gli oggetti svaniscono, i liquidi si comportano in modo strano, gli arti passano attraverso le cose e le clip rimangono corte, ed è importante per chiunque cerchi di giudicare se il filmato è reale o utilizza questi modelli per la pianificazione e la robotica.
I modelli vengono addestrati per prevedere o eliminare il rumore dai fotogrammi in modo che l'output assomigli al filmato di addestramento. La correttezza fisica non si misura direttamente.
Gli eventi non comuni nei dati e fisicamente complessi forniscono al modello meno esempi da cui imparare, quindi il suo output è meno affidabile.
Per mantenere coerente un oggetto nascosto, il modello deve portare la sua identità attraverso i frame in cui è invisibile e il contesto limitato lo rende inaffidabile.
Più frame significano più token e il costo dell'attenzione aumenta rapidamente con il conteggio dei token, quindi la lunghezza è limitata dal calcolo.
I generatori video non hanno un simulatore fisico esplicito. Qualsiasi fisica che mostrano è implicita nei modelli appresi.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Perché i generatori di immagini AI sbagliano le mani
IA visiva