LegközelebbKövetkező útmutató
Miért tévednek a mesterséges intelligencia-képgenerátorok?
Vizuális AI
Vizuális MI ÚTMUTATÓ
Az MI-videók azért tévednek a fizikában, porque a generátorok azt tanulják meg, hogyan változnak a pixelek általában az idő múlásával statisztikai minták alapján, nem pedig a tömeg, az erő és az ütközés szabályait.
Hallgassa meg ezt az útmutatótAI-narrált · ~3 min
Ugyan leutánzzák a mozgás külsejét anélkül, hogy szimulálnák annak okait, ezért tűnnek el tárgyak, viselkednek furcsán a folyadékok, haladnak át a végtagok dolgokon, és ezért maradnak rövidek a klipek; ez pedig fontos mindazoknak, akik eldöntenék, hogy egy felvétel valódi-e, vagy akik ezeket a modelleket tervezésre és robotikára használnák.
Video generators are trained on huge collections of footage to predict or denoise frames. The training objective rewards output that resembles real video. It does not reward output that obeys conservation of mass or momentum. Common physics, such as a ball falling or a person walking, is well represented in the data and usually looks right. Rare or complex events, such as glass shattering, a specific collision, or liquid pouring into an oddly shaped container, appear less often and are harder to learn. OpenAI's own technical material on Sora noted that it did not accurately model interactions like glass shattering. Object permanence is a memory problem. When something is hidden, the model has to carry its identity through frames where it is invisible. Models attend over a limited amount of context, so hidden objects can come back changed or not at all. Cause and effect is also weak: a bite, a spill or a dent should leave a lasting change, but the model may treat it as a passing visual event. Clip length is limited mainly by compute. A video is represented as spacetime tokens, and attention cost rises steeply as the token count grows, so many products generate seconds rather than minutes. Longer videos are often made by extending clips, which lets errors compound. A common misconception is that these models contain a physics engine. They do not, though they may pick up some implicit physical regularities. Researchers have built benchmarks such as Physics-IQ to test this and found that visually realistic output does not mean physical understanding. World-model research tries to close the gap: Google DeepMind's Genie line generates interactive environments, Meta's V-JEPA learns by predicting in an abstract representation space instead of pixels, and NVIDIA's Cosmos targets physical AI such as robotics.
Egy generált személy beleharap egy sütibe, de utána a sütin nincs harapásnyom. A(z) OpenAI ezt a fajta hibát a(z) Sora korlátozásai közé sorolta, amikor 2024-ben bemutatta a modellt.
Egy kutya egy fa mögé sétál, és a másik oldalon más szőrmintával jön ki, mert a model nem őrzött meg stabil memóriát a rejtett tárgyról.
Egy futó lábai lépés közben megcserélődni látszanak, és a lábak csúsznak a talajon, ami azt mutatja, hogy a modell a futás külsejét tanulta meg, nem pedig az érintkező erőket.
Egy kosárlabda áthalad a gyűrűn, röviden eltűnik, majd újra megjelenik egy játékos kezében – ez egy olyan szekvencia, amely képkockáról képkockára simának tűnik, de fizikailag semmi értelme nincs.
A fizikai hihetőség a mérettel és a jobb adatokkal javult, és a gyakori jelenetek esetében valószínűleg tovább fog javulni. A nehezebb esetek, mint például a hosszú távú ok és okozat, a ritka interakciók és a megbízható tárgyállandóság hosszú kitakarások során, olyan architekturális változtatásokat igényelhetnek, mint az explicit memória, a 3D-s struktúra vagy a hibrid szimuláció a puszta méret helyett. A robotikára és interaktív környezetekre irányuló világmodellek aktív kutatási területet jelentenek, és a vizuális realizmust és a fizikai helyességet külön-külön tesztelő benchmarkok segítenek majd mutatni a valós előrehaladást. Még nem dőlt el, hogy a tiszta videópredikció képes-e megtanulni a robusztus fizikát, és a kutatók nem értenek ebben egyet.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
Az MI-videók azért tévednek a fizikában, mert a generátorok azt tanulják meg, hogy a pixelek általában hogyan változnak az idő múlásával statisztikai minták alapján, nem pedig a tömeg, az erő és az ütközés szabályait. Ugyan leutánzzák a mozgás külsejét anélkül, hogy szimulálnák annak okait, ezért tűnnek el tárgyak, viselkednek furcsán a folyadékok, haladnak át a végtagok dolgokon, és ezért maradnak rövidek a klipek; ez pedig fontos mindazoknak, akik eldöntenék, hogy egy felvétel valódi-e, vagy akik ezeket a modelleket tervezésre és robotikára használnák.
A modelleket úgy tanítják, hogy megjósolják vagy zajtalanítsák a képkockákat, hogy a kimenet hasonlítson a betanítási felvételhez. A fizikai helyesség nem mérhető közvetlenül.
Az adatokban ritka és fizikailag összetett események kevesebb példát adnak a modellnek a tanuláshoz, így a kimenete kevésbé megbízható.
Ahhoz, hogy egy rejtett tárgy következetes maradjon, a modellnek át kell mentenie az identitását a láthatatlan képkockákon is, és a korlátozott kontextus ezt megbízhatatlanná teszi.
Több képkocka több token jelent, és a figyelem költsége gyorsan nő a tokenek számával, ezért a hosszúságot a számítási kapacitás korlátozza.
A videógenerátoroknak nincs kifejezett fizikai szimulátoruk. Az általuk mutatott fizika csak a tanult mintákban van implicit módon jelen.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Miért tévednek a mesterséges intelligencia-képgenerátorok?
Vizuális AI