Il prossimoProssima guida
Perché i video AI sbagliano la fisica
IA visiva
GUIDA AI visiva
La coerenza temporale è la capacità di un modello di video AI di mantenere stabili volti, oggetti, texture e illuminazione da un fotogramma all'altro.
Ascolta questa guidaNarrato dall'IA · ~3 min
Lo sfarfallio è ciò che si vede quando fallisce: i dettagli scintillano, si spostano o cambiano silenziosamente tra i fotogrammi. È importante perché gli spettatori notano anche piccoli cambiamenti da un fotogramma all'altro, ed è uno dei segni più chiari che il materiale è stato generato e non filmato.
Flicker first became a widely known problem when people made video with image generators. If you denoise each frame separately, every frame starts from its own random noise and makes its own small choices about texture, hair strands or the pattern on a shirt. Each frame looks fine alone, but played in sequence those independent choices read as shimmer. Modern video generators, including Stable Video Diffusion (2023), OpenAI's Sora (previewed in 2024), Runway's Gen-3 and Google's Veo models, generate the frames of a clip together in a compressed latent space and use attention across time, so each frame is shaped by the others. That is the main reason recent clips are much steadier than early experiments. Drift still happens, for several reasons. Fine, high-frequency detail such as hair, foliage, water and on-screen text is hardest, because tiny errors in small details show up as sparkle. When something is hidden behind another object, the model has to carry its appearance through the gap, and it may bring it back slightly different. Longer videos are often built by extending or stitching shorter clips, and because the model sees only a limited window of recent frames, identity can wander over time. Compression in the video autoencoder can also add artifacts where chunks join. There are a few common misconceptions. Flicker is not mainly a frame-rate problem, and raising resolution does not fix it by itself. Post-processing can smooth brightness flicker, but it cannot restore a character's face once it has changed. Frame interpolation can make motion look smoother, but it can also smear drift across the new frames. Real fixes happen during generation: temporal attention, reference-image conditioning, and propagating information from earlier frames into later ones.
La giacca di un personaggio generato ha tre bottoni in un fotogramma e quattro poco dopo, poi di nuovo tre, perché i dettagli fini non erano legati saldamente ai fotogrammi precedenti.
Un appassionato esegue un modello di immagine fotogramma per fotogramma su un clip di danza per farlo sembrare un dipinto a olio, e le pennellate dello sfondo strisciano e ribolliscono perché ogni fotogramma partiva da un rumore casuale diverso.
Un montatore applica un filtro anti-sfarfallio a un clip AI per attenuare le pulsazioni di luminosità tra i fotogrammi. L'illuminazione si stabilizza, ma un volto che cambia lentamente forma rimane esattamente com'era, perché il filtro corregge solo la luminosità.
Un creatore parte da una foto di riferimento di un personaggio nella modalità da immagine a video di uno strumento, in modo che il primo fotogramma fissi l'identità e il volto resti più stabile rispetto a quanto accadrebbe con un solo prompt testuale.
La ricerca si concentra su contesti più lunghi e memoria esplicita, in modo che un modello possa ricordare un personaggio o una stanza per minuti anziché secondi. La generazione autoregressiva con contesto in cache, una migliore condizionamento di riferimento e il blocco del personaggio in più riprese sono direzioni attive sia nella ricerca che negli strumenti commerciali. Benchmark come VBench punteggiano già separatamente dimensioni come lo sfarfallio temporale e la coerenza del soggetto, il che rende più facile misurare i progressi. I clip brevi probabilmente continueranno a migliorare più velocemente di quelli lunghi, perché il costo aumenta bruscamente con la lunghezza. La coerenza tra modifiche, occlusioni e tagli di scena è ancora un problema aperto e non risolto.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
La coerenza temporale è la capacità di un modello di video AI di mantenere stabili volti, oggetti, texture e illuminazione da un fotogramma all'altro. Lo sfarfallio è ciò che si vede quando fallisce: i dettagli scintillano, si spostano o cambiano silenziosamente tra i fotogrammi. È importante perché gli spettatori notano anche piccoli cambiamenti da un fotogramma all'altro, ed è uno dei segni più chiari che il materiale è stato generato e non filmato.
Quando i fotogrammi vengono denoizzati indipendentemente, ciascuno compie le proprie piccole scelte su texture e dettagli. Riprodotti in sequenza, quelle scelte non correlate appaiono come scintillii.
Generare un clip nel suo insieme, con un'attenzione che collega i fotogrammi, permette a ciascun fotogramma di essere plasmato dagli altri, riducendo la deriva indipendente.
I piccoli errori nei dettagli fini appaiono come bagliori o scintillii, quindi capelli, foglie, acqua e testo sono i punti deboli abituali.
Gli strumenti anti-sfarfallio uniformano le variazioni di luminosità. Non possono ripristinare l'identità o i dettagli degli oggetti che il generatore ha modificato.
Se il modello si condiziona solo sui fotogrammi recenti, i piccoli cambiamenti si accumulano e il personaggio può allontanarsi dall'aspetto iniziale.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Perché i video AI sbagliano la fisica
IA visiva