VolgendeVolgende gids
Waarom AI-beeldgeneratoren de fout ingaan
Visuele AI
Visuele AI-GIDS
AI-video doet de natuurkunde verkeerd omdat generatoren statistische patronen leren van hoe pixels gewoonlijk in de loop van de tijd veranderen, en niet de regels van massa, kracht en botsing.
Luister naar deze gidsAI-verteld · ~3 min
Ze imiteren het uiterlijk van beweging zonder te simuleren wat de oorzaak ervan is. Dat is de reden waarom objecten verdwijnen, vloeistoffen zich vreemd gedragen, ledematen door dingen heen gaan en clips kort blijven, en het is van belang voor iedereen die probeert te beoordelen of beelden echt zijn of deze modellen gebruikt voor planning en robotica.
Videogeneratoren zijn getraind op enorme verzamelingen beeldmateriaal om frames te voorspellen of de ruis te verminderen. Het trainingsdoel beloont output die lijkt op echte video. Het beloont geen output die het behoud van massa of momentum gehoorzaamt. Algemene natuurkunde, zoals het vallen van een bal of het lopen van een persoon, is goed weergegeven in de gegevens en ziet er meestal goed uit. Zeldzame of complexe gebeurtenissen, zoals glasbreuk, een specifieke botsing of vloeistof die in een vreemd gevormde container stroomt, komen minder vaak voor en zijn moeilijker te leren. OpenAI's eigen technische materiaal over Sora merkte op dat het interacties zoals glasbreuk niet nauwkeurig modelleerde. Objectduurzaamheid is een geheugenprobleem. Wanneer iets verborgen is, moet het model zijn identiteit door middel van frames dragen waar het onzichtbaar is. Modellen nemen deel aan een beperkte hoeveelheid context, dus verborgen objecten kunnen veranderd of helemaal niet terugkomen. Oorzaak en gevolg zijn ook zwak: een beet, een lekkage of een deuk zou een blijvende verandering moeten achterlaten, maar het model kan dit als een voorbijgaande visuele gebeurtenis beschouwen. De lengte van de clip wordt voornamelijk beperkt door computergebruik. Een video wordt weergegeven als ruimtetijdtokens, en de aandachtskosten stijgen sterk naarmate het aantal tokens groeit, waardoor veel producten seconden genereren in plaats van minuten. Langere video's worden vaak gemaakt door clips uit te breiden, waardoor fouten kunnen toenemen. Een veel voorkomende misvatting is dat deze modellen een fysica-engine bevatten. Dat is niet het geval, ook al kunnen ze enkele impliciete fysieke regelmatigheden opmerken. Onderzoekers hebben benchmarks zoals Physics-IQ gebouwd om dit te testen en ontdekten dat visueel realistische output niet hetzelfde is als fysiek begrip. Onderzoek naar wereldmodellen probeert de kloof te dichten: Google DeepMind's Genie-lijn genereert interactieve omgevingen, Meta's V-JEPA leert door te voorspellen in een abstracte representatieruimte in plaats van pixels, en NVIDIA's Cosmos richt zich op fysieke AI zoals robotica.
Een gegenereerde persoon bijt in een koekje, maar daarna heeft het koekje geen bijtspoor. OpenAI noemde dit soort fouten een van de beperkingen van Sora toen het in 2024 een preview van het model liet zien.
Een hond loopt achter een boom en komt aan de andere kant met een ander vachtpatroon naar buiten, omdat het model geen stabiele herinnering aan het verborgen voorwerp bijhield.
De benen van een hardloper lijken halverwege de pas van kant te wisselen en de voeten glijden over de grond, wat laat zien dat het model het uiterlijk van hardlopen heeft geleerd, en niet de daarbij betrokken contactkrachten.
Een basketbal passeert de rand, verdwijnt even en verschijnt weer in de handen van een speler, een reeks die er van frame tot frame vloeiend uitziet, maar fysiek geen betekenis heeft.
De fysieke plausibiliteit is verbeterd met de schaal en betere gegevens, en zal waarschijnlijk blijven verbeteren voor veelvoorkomende scènes. Moeilijkere gevallen, zoals oorzaak en gevolg over lange horizonten, zeldzame interacties en betrouwbare objectduurzaamheid over lange occlusies, vereisen mogelijk architecturale veranderingen zoals expliciet geheugen, 3D-structuur of hybride simulatie in plaats van alleen schaal. Wereldmodellen gericht op robotica en interactieve omgevingen vormen een actief onderzoeksgebied, en benchmarks die visueel realisme en fysieke correctheid afzonderlijk testen, zullen helpen echte vooruitgang aan te tonen. Het staat nog niet vast of pure videovoorspelling robuuste natuurkunde kan leren, en onderzoekers zijn het daar niet over eens.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
AI-video doet de natuurkunde verkeerd omdat generatoren statistische patronen leren van hoe pixels gewoonlijk in de loop van de tijd veranderen, en niet de regels van massa, kracht en botsing. Ze imiteren het uiterlijk van beweging zonder te simuleren wat de oorzaak ervan is. Dat is de reden waarom objecten verdwijnen, vloeistoffen zich vreemd gedragen, ledematen door dingen heen gaan en clips kort blijven, en het is van belang voor iedereen die probeert te beoordelen of beelden echt zijn of deze modellen gebruikt voor planning en robotica.
Modellen zijn getraind om frames te voorspellen of de ruis te verminderen, zodat de uitvoer lijkt op de trainingsbeelden. Fysieke correctheid wordt niet direct gemeten.
Gebeurtenissen die ongebruikelijk zijn in de gegevens en fysiek complex zijn, geven het model minder voorbeelden om van te leren, waardoor de output minder betrouwbaar is.
Om een verborgen object consistent te houden, moet het model zijn identiteit door frames dragen waar het onzichtbaar is, en de beperkte context maakt dat onbetrouwbaar.
Meer frames betekenen meer tokens, en de aandachtskosten stijgen snel met het aantal tokens, dus de lengte wordt beperkt door rekenkracht.
Videogeneratoren hebben geen expliciete natuurkundige simulator. Elke natuurkunde die ze laten zien, is impliciet in aangeleerde patronen.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
Waarom AI-beeldgeneratoren de fout ingaan
Visuele AI