Vizuális MI ÚTMUTATÓ

Miért rontja el az AI-videó fizikáját?

Az MI-videók azért tévednek a fizikában, porque a generátorok azt tanulják meg, hogyan változnak a pixelek általában az idő múlásával statisztikai minták alapján, nem pedig a tömeg, az erő és az ütközés szabályait.

Hallgassa meg ezt az útmutatótAI-narrált · ~3 min

Ezen az oldalon4 perc olvasás
  1. Áttekintés
  2. Mély merülés
  3. Valós megvalósítás
  4. A jövő arról, hogy miért tévednek az MI-videók a fizikában
  5. A gyakorlatba ültetés
  6. Folytassa a felfedezést
  7. Gyakran ismételt kérdések

Áttekintés

Ugyan leutánzzák a mozgás külsejét anélkül, hogy szimulálnák annak okait, ezért tűnnek el tárgyak, viselkednek furcsán a folyadékok, haladnak át a végtagok dolgokon, és ezért maradnak rövidek a klipek; ez pedig fontos mindazoknak, akik eldöntenék, hogy egy felvétel valódi-e, vagy akik ezeket a modelleket tervezésre és robotikára használnák.

Mély merülés

Video generators are trained on huge collections of footage to predict or denoise frames. The training objective rewards output that resembles real video. It does not reward output that obeys conservation of mass or momentum. Common physics, such as a ball falling or a person walking, is well represented in the data and usually looks right. Rare or complex events, such as glass shattering, a specific collision, or liquid pouring into an oddly shaped container, appear less often and are harder to learn. OpenAI's own technical material on Sora noted that it did not accurately model interactions like glass shattering. Object permanence is a memory problem. When something is hidden, the model has to carry its identity through frames where it is invisible. Models attend over a limited amount of context, so hidden objects can come back changed or not at all. Cause and effect is also weak: a bite, a spill or a dent should leave a lasting change, but the model may treat it as a passing visual event. Clip length is limited mainly by compute. A video is represented as spacetime tokens, and attention cost rises steeply as the token count grows, so many products generate seconds rather than minutes. Longer videos are often made by extending clips, which lets errors compound. A common misconception is that these models contain a physics engine. They do not, though they may pick up some implicit physical regularities. Researchers have built benchmarks such as Physics-IQ to test this and found that visually realistic output does not mean physical understanding. World-model research tries to close the gap: Google DeepMind's Genie line generates interactive environments, Meta's V-JEPA learns by predicting in an abstract representation space instead of pixels, and NVIDIA's Cosmos targets physical AI such as robotics.

Valós megvalósítás

Egy generált személy beleharap egy sütibe, de utána a sütin nincs harapásnyom. A(z) OpenAI ezt a fajta hibát a(z) Sora korlátozásai közé sorolta, amikor 2024-ben bemutatta a modellt.

Egy kutya egy fa mögé sétál, és a másik oldalon más szőrmintával jön ki, mert a model nem őrzött meg stabil memóriát a rejtett tárgyról.

Egy futó lábai lépés közben megcserélődni látszanak, és a lábak csúsznak a talajon, ami azt mutatja, hogy a modell a futás külsejét tanulta meg, nem pedig az érintkező erőket.

Egy kosárlabda áthalad a gyűrűn, röviden eltűnik, majd újra megjelenik egy játékos kezében – ez egy olyan szekvencia, amely képkockáról képkockára simának tűnik, de fizikailag semmi értelme nincs.

A jövő arról, hogy miért tévednek az MI-videók a fizikában

A fizikai hihetőség a mérettel és a jobb adatokkal javult, és a gyakori jelenetek esetében valószínűleg tovább fog javulni. A nehezebb esetek, mint például a hosszú távú ok és okozat, a ritka interakciók és a megbízható tárgyállandóság hosszú kitakarások során, olyan architekturális változtatásokat igényelhetnek, mint az explicit memória, a 3D-s struktúra vagy a hibrid szimuláció a puszta méret helyett. A robotikára és interaktív környezetekre irányuló világmodellek aktív kutatási területet jelentenek, és a vizuális realizmust és a fizikai helyességet külön-külön tesztelő benchmarkok segítenek majd mutatni a valós előrehaladást. Még nem dőlt el, hogy a tiszta videópredikció képes-e megtanulni a robusztus fizikát, és a kutatók nem értenek ebben egyet.

A gyakorlatba ültetés

Miért számít

  • Sebesség és méretarány. A vizuális AI képes automatizálni az ellenőrzési, észlelési és címkézési feladatokat nagy léptékben.
  • Építési lehetőségek. A kreatív csapatok gyorsabban prototípusokat készíthetnek a koncepciókból, kevesebb kézi átdolgozással.
  • Csapat és munkafolyamat. A műveletek olyan kép- és videojeleket használhatnak, amelyeket korábban nehéz volt feldolgozni.

Vigyázz

  • A képhez fűződő jogok és a beleegyezés jogi kockázatot jelenthet, ha a származás nem egyértelmű.
  • A modell teljesítménye a világítástól, a demográfiai adatoktól és a környezettől függően változhat.
  • A hamis pozitívumok észrevétlenek maradhatnak, hacsak nem figyelik a megbízhatósági küszöböket.

Következő lépések

  1. Határozza meg a pontosság, a visszahívás és a hibaköltségek elfogadási kritériumait.
  2. Tesztelje a valós gyártási feltételeknek megfelelő adatokkal.
  3. Adjon hozzá emberi felülvizsgálatot az alacsony megbízhatóságú vagy nagy hatású előrejelzésekhez.
  4. A modell elsodródásának nyomon követése és újbóli érvényesítése a kamera vagy az adatkészlet módosítása után.

Folytassa a felfedezést

Ingyenes hírlevél

Szerezze meg a napi AI összefoglalót

Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.

Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.

Teszteld magad

Töltsd ki a Miért tévednek az MI-videók a fizikában? kvízt

Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.

Kezdő kvíz

Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt

Gyakran ismételt kérdések

Mi az a Miért tévednek az MI-videók a fizikában?

Az MI-videók azért tévednek a fizikában, mert a generátorok azt tanulják meg, hogy a pixelek általában hogyan változnak az idő múlásával statisztikai minták alapján, nem pedig a tömeg, az erő és az ütközés szabályait. Ugyan leutánzzák a mozgás külsejét anélkül, hogy szimulálnák annak okait, ezért tűnnek el tárgyak, viselkednek furcsán a folyadékok, haladnak át a végtagok dolgokon, és ezért maradnak rövidek a klipek; ez pedig fontos mindazoknak, akik eldöntenék, hogy egy felvétel valódi-e, vagy akik ezeket a modelleket tervezésre és robotikára használnák.

Mit jutalmaz leginkább egy tipikus videógenerátor betanítási célfüggvénye?

A modelleket úgy tanítják, hogy megjósolják vagy zajtalanítsák a képkockákat, hogy a kimenet hasonlítson a betanítási felvételhez. A fizikai helyesség nem mérhető közvetlenül.

Miért különösen nehezek a videómodellek számára az olyan ritka események, mint az üvegtörés?

Az adatokban ritka és fizikailag összetett események kevesebb példát adnak a modellnek a tanuláshoz, így a kimenete kevésbé megbízható.

Milyen jellegű problémaként írja le az útmutató leginkább a tárgyállandóság hiányosságait?

Ahhoz, hogy egy rejtett tárgy következetes maradjon, a modellnek át kell mentenie az identitását a láthatatlan képkockákon is, és a korlátozott kontextus ezt megbízhatatlanná teszi.

Mi a fő oka annak, hogy az AI videóklippek gyakran csak néhány másodperc hosszúak?

Több képkocka több token jelent, és a figyelem költsége gyorsan nő a tokenek számával, ezért a hosszúságot a számítási kapacitás korlátozza.

Melyik állítás tükröz egy téves elképzelést a videógenerátorokról?

A videógenerátoroknak nincs kifejezett fizikai szimulátoruk. Az általuk mutatott fizika csak a tanult mintákban van implicit módon jelen.