Vizuální průvodce AI

Proč má AI video ve fyzice chybu

Video s umělou inteligencí se ve fyzice mýlí, protože generátory se učí statistické vzorce toho, jak se pixely obvykle mění v průběhu času, nikoli pravidla hmotnosti, síly a kolize.

Poslechněte si tento návodAI-vyprávěný · ~3 min

Na této stránce4 min čtení
  1. Přehled
  2. Hluboký ponor
  3. Real-World Implementace
  4. Budoucnost toho, proč se AI video mýlí ve fyzice
  5. Uvedení do praxe
  6. Pokračujte v objevování
  7. Často kladené otázky

Přehled

Napodobují vzhled pohybu, aniž by simulovaly, co jej způsobuje. To je důvod, proč předměty mizí, kapaliny se chovají podivně, končetiny procházejí věcmi a klipy zůstávají krátké a je důležité pro každého, kdo se snaží posoudit, zda jsou záběry skutečné, nebo použít tyto modely pro plánování a robotizaci.

Hluboký ponor

Video generátory jsou trénovány na obrovských sbírkách záběrů, aby předpovídaly nebo odšumovaly snímky. Cíl školení odměňuje výstup, který se podobá skutečnému videu. Neodměňuje výstup, který se řídí zachováním hmoty nebo hybnosti. Běžná fyzika, jako je pád míče nebo chůze osoby, je v datech dobře zastoupena a obvykle vypadá správně. Vzácné nebo složité události, jako je rozbití skla, konkrétní kolize nebo nalití kapaliny do nádoby zvláštního tvaru, se objevují méně často a je těžší je naučit. Vlastní technický materiál OpenAI na Sora poznamenal, že přesně nemodeloval interakce, jako je rozbíjení skla. Stálost objektu je problém s pamětí. Když je něco skryté, model musí nést svou identitu skrz rámečky, kde je neviditelný. Modely navštěvují omezené množství kontextu, takže skryté objekty se mohou vrátit změněné nebo vůbec. Příčina a následek jsou také slabé: kousnutí, rozlití nebo promáčknutí by mělo zanechat trvalou změnu, ale model to může považovat za přechodnou vizuální událost. Délka klipu je omezena především výpočtem. Video je reprezentováno jako časoprostorové tokeny a náklady na pozornost strmě rostou s rostoucím počtem tokenů, takže mnoho produktů generuje spíše sekundy než minuty. Delší videa jsou často vytvářena prodlužováním klipů, což umožňuje hromadění chyb. Obvyklá mylná představa je, že tyto modely obsahují fyzikální engine. Nemají, i když mohou zaznamenat určité implicitní fyzické zákonitosti. Výzkumníci vytvořili měřítka, jako je Physics-IQ, aby to otestovali a zjistili, že vizuálně realistický výstup neznamená fyzické porozumění. Výzkum světového modelu se snaží tuto mezeru zacelit: řada Genie DeepMind generuje interaktivní prostředí, Meta V-JEPA se učí předpovídáním v abstraktním reprezentačním prostoru namísto pixelů a NVIDIA Cosmos se zaměřuje na fyzickou umělou inteligenci, jako je robotika.

Real-World Implementace

Vygenerovaná osoba kousne cookie, ale poté cookie nemá žádnou značku kousnutí. OpenAI označil tento druh selhání mezi omezeními Sora, když předváděl model v roce 2024.

Za stromem jde pes a vychází z druhé strany s jiným vzorem srsti, protože model si neuchoval stabilní vzpomínku na ukrytý předmět.

Zdá se, že nohy běžce vyměňují strany uprostřed kroku a chodidla kloužou po zemi, což ukazuje, že se model naučil vzhled běhu, nikoli použité kontaktní síly.

Basketbalový míč projde okrajem, nakrátko zmizí a znovu se objeví v hráčových rukou, sekvence, která vypadá hladce, ale nedává žádný fyzický smysl.

Budoucnost toho, proč se AI video mýlí ve fyzice

Fyzická věrohodnost se zlepšila s měřítkem a lepšími daty a pravděpodobně se bude i nadále zlepšovat pro běžné scény. Těžší případy, jako je příčina a následek s dlouhým horizontem, vzácné interakce a spolehlivá stálost objektu napříč dlouhými okluzemi, mohou vyžadovat architektonické změny, jako je explicitní paměť, 3D struktura nebo hybridní simulace, spíše než samotné měřítko. Světové modely zaměřené na robotiku a interaktivní prostředí jsou aktivní oblastí výzkumu a benchmarky, které samostatně testují vizuální realismus a fyzickou správnost, pomohou ukázat skutečný pokrok. Není rozhodnuto, zda se čistá video predikce může naučit robustní fyzice, a výzkumníci s tím nesouhlasí.

Uvedení do praxe

Proč na tom záleží

  • Rychlost a měřítko. Vizuální AI může automatizovat úkoly inspekce, detekce a označování ve velkém měřítku.
  • Volby sestavy. Kreativní týmy mohou prototypovat koncepty rychleji s menším počtem ručních revizí.
  • Tým a pracovní postup. Operace mohou využívat obrazové a video signály, které bylo dříve obtížné zpracovat.

Pozor na

  • Obrazová práva a souhlas se mohou stát právním rizikem, pokud je původ nejasný.
  • Výkon modelu se může lišit podle osvětlení, demografických údajů a prostředí.
  • Falešně pozitivní mohou zůstat bez povšimnutí, pokud nejsou monitorovány prahové hodnoty spolehlivosti.

Další kroky

  1. Definujte kritéria přijatelnosti pro přesnost, stažení a náklady na chyby.
  2. Testujte s daty, která odpovídají reálným výrobním podmínkám.
  3. Přidejte lidskou kontrolu pro předpovědi s nízkou spolehlivostí nebo velkým dopadem.
  4. Sledujte posun modelu a znovu ověřte po změnách kamery nebo datové sady.

Pokračujte v objevování

Newsletter zdarma

Získejte denní přehled o AI

Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.

Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.

Otestujte se

Take the Why AI Video Gets Physics Wrong quiz

Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.

Spustit kvíz

Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte

Často kladené otázky

Co je důvod, proč má AI video ve fyzice chybu?

Video s umělou inteligencí se ve fyzice mýlí, protože generátory se učí statistické vzorce toho, jak se pixely obvykle mění v průběhu času, nikoli pravidla hmotnosti, síly a kolize. Napodobují vzhled pohybu, aniž by simulovaly, co jej způsobuje. To je důvod, proč předměty mizí, kapaliny se chovají podivně, končetiny procházejí věcmi a klipy zůstávají krátké a je důležité pro každého, kdo se snaží posoudit, zda jsou záběry skutečné, nebo použít tyto modely pro plánování a robotizaci.

Co odměňuje typický tréninkový cíl generátoru videa?

Modely jsou trénovány tak, aby předpovídaly nebo odšumovaly snímky, takže výstup vypadá jako tréninkový záznam. Fyzická správnost se neměří přímo.

Proč jsou vzácné události, jako je rozbití skla, obzvláště těžké pro videomodely?

Události, které jsou v datech neobvyklé a fyzicky složité, dávají modelu méně příkladů, ze kterých se lze učit, takže jeho výstup je méně spolehlivý.

Průvodce popisuje poruchy stálosti objektů hlavně jako jaký druh problému?

Aby byl skrytý objekt konzistentní, musí model nést svou identitu prostřednictvím rámců, kde je neviditelný, a omezený kontext to činí nespolehlivým.

Jaký je hlavní důvod, proč jsou videoklipy AI často dlouhé jen sekundy?

Více snímků znamená více tokenů a náklady na pozornost rychle rostou s počtem tokenů, takže délka je omezena výpočtem.

Které tvrzení odráží mylnou představu o generátorech videa?

Video generátory nemají žádný explicitní simulátor fyziky. Jakákoli fyzika, kterou ukazují, je součástí naučených vzorců.