DalšíDalší průvodce
Proč se generátory obrázků AI pletou
Vizuální AI
Vizuální průvodce AI
Video s umělou inteligencí se ve fyzice mýlí, protože generátory se učí statistické vzorce toho, jak se pixely obvykle mění v průběhu času, nikoli pravidla hmotnosti, síly a kolize.
Poslechněte si tento návodAI-vyprávěný · ~3 min
Napodobují vzhled pohybu, aniž by simulovaly, co jej způsobuje. To je důvod, proč předměty mizí, kapaliny se chovají podivně, končetiny procházejí věcmi a klipy zůstávají krátké a je důležité pro každého, kdo se snaží posoudit, zda jsou záběry skutečné, nebo použít tyto modely pro plánování a robotizaci.
Video generátory jsou trénovány na obrovských sbírkách záběrů, aby předpovídaly nebo odšumovaly snímky. Cíl školení odměňuje výstup, který se podobá skutečnému videu. Neodměňuje výstup, který se řídí zachováním hmoty nebo hybnosti. Běžná fyzika, jako je pád míče nebo chůze osoby, je v datech dobře zastoupena a obvykle vypadá správně. Vzácné nebo složité události, jako je rozbití skla, konkrétní kolize nebo nalití kapaliny do nádoby zvláštního tvaru, se objevují méně často a je těžší je naučit. Vlastní technický materiál OpenAI na Sora poznamenal, že přesně nemodeloval interakce, jako je rozbíjení skla. Stálost objektu je problém s pamětí. Když je něco skryté, model musí nést svou identitu skrz rámečky, kde je neviditelný. Modely navštěvují omezené množství kontextu, takže skryté objekty se mohou vrátit změněné nebo vůbec. Příčina a následek jsou také slabé: kousnutí, rozlití nebo promáčknutí by mělo zanechat trvalou změnu, ale model to může považovat za přechodnou vizuální událost. Délka klipu je omezena především výpočtem. Video je reprezentováno jako časoprostorové tokeny a náklady na pozornost strmě rostou s rostoucím počtem tokenů, takže mnoho produktů generuje spíše sekundy než minuty. Delší videa jsou často vytvářena prodlužováním klipů, což umožňuje hromadění chyb. Obvyklá mylná představa je, že tyto modely obsahují fyzikální engine. Nemají, i když mohou zaznamenat určité implicitní fyzické zákonitosti. Výzkumníci vytvořili měřítka, jako je Physics-IQ, aby to otestovali a zjistili, že vizuálně realistický výstup neznamená fyzické porozumění. Výzkum světového modelu se snaží tuto mezeru zacelit: řada Genie DeepMind generuje interaktivní prostředí, Meta V-JEPA se učí předpovídáním v abstraktním reprezentačním prostoru namísto pixelů a NVIDIA Cosmos se zaměřuje na fyzickou umělou inteligenci, jako je robotika.
Vygenerovaná osoba kousne cookie, ale poté cookie nemá žádnou značku kousnutí. OpenAI označil tento druh selhání mezi omezeními Sora, když předváděl model v roce 2024.
Za stromem jde pes a vychází z druhé strany s jiným vzorem srsti, protože model si neuchoval stabilní vzpomínku na ukrytý předmět.
Zdá se, že nohy běžce vyměňují strany uprostřed kroku a chodidla kloužou po zemi, což ukazuje, že se model naučil vzhled běhu, nikoli použité kontaktní síly.
Basketbalový míč projde okrajem, nakrátko zmizí a znovu se objeví v hráčových rukou, sekvence, která vypadá hladce, ale nedává žádný fyzický smysl.
Fyzická věrohodnost se zlepšila s měřítkem a lepšími daty a pravděpodobně se bude i nadále zlepšovat pro běžné scény. Těžší případy, jako je příčina a následek s dlouhým horizontem, vzácné interakce a spolehlivá stálost objektu napříč dlouhými okluzemi, mohou vyžadovat architektonické změny, jako je explicitní paměť, 3D struktura nebo hybridní simulace, spíše než samotné měřítko. Světové modely zaměřené na robotiku a interaktivní prostředí jsou aktivní oblastí výzkumu a benchmarky, které samostatně testují vizuální realismus a fyzickou správnost, pomohou ukázat skutečný pokrok. Není rozhodnuto, zda se čistá video predikce může naučit robustní fyzice, a výzkumníci s tím nesouhlasí.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Video s umělou inteligencí se ve fyzice mýlí, protože generátory se učí statistické vzorce toho, jak se pixely obvykle mění v průběhu času, nikoli pravidla hmotnosti, síly a kolize. Napodobují vzhled pohybu, aniž by simulovaly, co jej způsobuje. To je důvod, proč předměty mizí, kapaliny se chovají podivně, končetiny procházejí věcmi a klipy zůstávají krátké a je důležité pro každého, kdo se snaží posoudit, zda jsou záběry skutečné, nebo použít tyto modely pro plánování a robotizaci.
Modely jsou trénovány tak, aby předpovídaly nebo odšumovaly snímky, takže výstup vypadá jako tréninkový záznam. Fyzická správnost se neměří přímo.
Události, které jsou v datech neobvyklé a fyzicky složité, dávají modelu méně příkladů, ze kterých se lze učit, takže jeho výstup je méně spolehlivý.
Aby byl skrytý objekt konzistentní, musí model nést svou identitu prostřednictvím rámců, kde je neviditelný, a omezený kontext to činí nespolehlivým.
Více snímků znamená více tokenů a náklady na pozornost rychle rostou s počtem tokenů, takže délka je omezena výpočtem.
Video generátory nemají žádný explicitní simulátor fyziky. Jakákoli fyzika, kterou ukazují, je součástí naučených vzorců.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Proč se generátory obrázků AI pletou
Vizuální AI