Il prossimoProssima guida
Controllo della telecamera nella generazione di video AI
IA visiva
GUIDA AI visiva
La generazione di video da immagine trasforma un'unica immagine statica in un breve clip video.
Ascolta questa guidaNarrato dall'IA · ~3 min
Il modello utilizza l'immagine come primo fotogramma o come ancoraggio visivo e inventa un movimento plausibile da lì. È importante perché i creatori possono fissare esattamente come appare uno scatto prima di animarlo, cosa che il testo-into-video da solo raramente consente.
Most current image-to-video systems are latent video diffusion models. The input image is compressed into a latent by an autoencoder, and that latent is given to the denoising network at every step, often by concatenating it channel-wise with the noisy latents of each frame. Many models also inject a semantic embedding of the image, such as a CLIP image embedding, through cross-attention. Temporal attention layers let frames share information, so the model denoises all frames together into a coherent clip that starts from the given image. Stable Video Diffusion, released by Stability AI in November 2023, is a well-documented open example, with 14-frame and 25-frame variants. Commercial tools such as Runway, Kling, Luma Dream Machine and Google's Veo offer image-to-video, and open models such as Wan and HunyuanVideo have image-conditioned versions. Motion strength is controlled in several ways. Stable Video Diffusion takes a "motion bucket" value, learned from how much optical flow training clips contained, plus frame-rate conditioning. It also adds noise to the conditioning image. More of this noise augmentation lets the video depart further from the input, giving more motion but less fidelity. Commercial tools usually expose a motion slider, camera presets or a text prompt describing the motion. Typical artifacts include morphing (objects melting into each other), identity drift in faces after a few seconds, extra or warped limbs during fast movement, and texture swimming, where fine patterns seem to slide across surfaces. Other common problems are a flat "2.5D" parallax look, near-frozen output at low motion settings, and physics errors in liquids and cloth. A common misconception is that the model understands the 3D scene. It predicts plausible pixels. When a moving object reveals what was behind it, the model has no information about that area and invents it.
Un fotografo di prodotti anima una foto di una bottiglia di profumo con nebbia che si diffonde e un lento zoom in avanti, producendo un annuncio sociale di cinque secondi senza una ripresa video.
Un museo anima un dipinto paesaggistico scansito in modo che le nuvole si muovano e le onde d'acqua si riflettano, e etichetta il clip come generato dall'IA nella galleria.
Un regista genera due fotogrammi di storyboard con un modello di immagine, poi utilizza una modalità video prima-ultima fotogramma per ottenere una transizione controllata tra di essi.
Un hobbista esegue Stable Video Diffusion localmente, aumenta l'impostazione di movimento per trasformare una foto di una spiaggia calma in onde che si infrangono, e vede i volti sullo sfondo iniziare a deformarsi.
La lunghezza del clip, la risoluzione e la coerenza del movimento si sono migliorate costantemente, e il controllo prima-ultima fotogramma e le impostazioni della fotocamera stanno diventando funzionalità standard. Il movimento fisicamente corretto, l'identità stabile su clip lunghi e la gestione affidabile delle regioni ocluse sono ancora problemi difficili senza una soluzione generale. Aspettatevi guadagni graduali piuttosto che un salto improvviso. Man mano che le immagini animate diventano più difficili da distinguere dal materiale reale, approcci di provenienza come credenziali di contenuto e etichettatura chiara avranno più importanza per notizie, archivi ed educazione.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
La generazione di video da immagine trasforma un'unica immagine statica in un breve clip video. Il modello utilizza l'immagine come primo fotogramma o come ancoraggio visivo e inventa un movimento plausibile da lì. È importante perché i creatori possono fissare esattamente come appare uno scatto prima di animarlo, cosa che il testo-into-video da solo raramente consente.
Il latente immagine è impilato con il latente rumoroso di ogni fotogramma ad ogni passo di denoising, ancorando il clip all'input.
I clip di addestramento sono stati raggruppati in base a quanta fluidità ottica contenevano, quindi il valore dirige quanta movimento l'output ha.
Più rumore sulla condizione allenta l'ancora, quindi il video si discosta più dall'input: più movimento, più drift.
Un'unica immagine non contiene nulla su ciò che è nascosto, e il modello non ricostruisce la scena 3D, quindi indovina.
Ogni segmento eredita e aggiunge i difetti del segmento precedente, quindi il drift si complica con le estensioni ripetute.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Controllo della telecamera nella generazione di video AI
IA visiva