DalšíDalší průvodce
Ovládání kamery v AI Video Generation
Vizuální AI
Vizuální průvodce AI
Generování obrazu na video přemění jeden statický obrázek na krátký videoklip.
Poslechněte si tento návodAI-vyprávěný · ~3 min
Model používá obraz jako první snímek nebo jako vizuální kotvu a odtud vymýšlí věrohodný pohyb. Je to důležité, protože tvůrci mohou před animací přesně opravit, jak záběr vypadá, což samotný převod textu na video jen zřídka umožňuje.
Most current image-to-video systems are latent video diffusion models. The input image is compressed into a latent by an autoencoder, and that latent is given to the denoising network at every step, often by concatenating it channel-wise with the noisy latents of each frame. Many models also inject a semantic embedding of the image, such as a CLIP image embedding, through cross-attention. Temporal attention layers let frames share information, so the model denoises all frames together into a coherent clip that starts from the given image. Stable Video Diffusion, released by Stability AI in November 2023, is a well-documented open example, with 14-frame and 25-frame variants. Commercial tools such as Runway, Kling, Luma Dream Machine and Google's Veo offer image-to-video, and open models such as Wan and HunyuanVideo have image-conditioned versions. Motion strength is controlled in several ways. Stable Video Diffusion takes a "motion bucket" value, learned from how much optical flow training clips contained, plus frame-rate conditioning. It also adds noise to the conditioning image. More of this noise augmentation lets the video depart further from the input, giving more motion but less fidelity. Commercial tools usually expose a motion slider, camera presets or a text prompt describing the motion. Typical artifacts include morphing (objects melting into each other), identity drift in faces after a few seconds, extra or warped limbs during fast movement, and texture swimming, where fine patterns seem to slide across surfaces. Other common problems are a flat "2.5D" parallax look, near-frozen output at low motion settings, and physics errors in liquids and cloth. A common misconception is that the model understands the 3D scene. It predicts plausible pixels. When a moving object reveals what was behind it, the model has no information about that area and invents it.
Produktový fotograf animuje statický snímek flakonu parfému s unášenou mlhou a pomalým zatlačováním a vytváří pětisekundovou sociální reklamu bez natáčení videa.
Muzeum oživí naskenovanou krajinomalbu, takže se mraky unaví a zčeří voda, a v galerii označí klip jako AI.
Filmař vygeneruje dva snímky scénáře s obrazovým modelem a poté použije režim videa prvního a posledního snímku, aby mezi nimi získal kontrolovaný přechod.
Hobík lokálně spustí Stable Video Diffusion, zvedne nastavení pohybu, aby proměnil klidnou plážovou fotku na bouřící se vlny, a vidí, jak se tváře v pozadí začínají deformovat.
Délka klipu, rozlišení a koherence pohybu se neustále zlepšují a ovládání prvního a posledního snímku a předvolby fotoaparátu se stávají standardními funkcemi. Fyzicky správný pohyb, stabilní identita přes dlouhé klipy a spolehlivá manipulace s okludovanými oblastmi jsou stále těžké problémy bez obecného řešení. Očekávejte spíše postupné zisky než náhlý skok. Vzhledem k tomu, že je stále těžší rozeznat animované fotografie od skutečných záběrů, budou pro zpravodajství, archivy a vzdělávání důležitější přístupy k původu, jako jsou pověření k obsahu a jasné označování.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Generování obrazu na video přemění jeden statický obrázek na krátký videoklip. Model používá obraz jako první snímek nebo jako vizuální kotvu a odtud vymýšlí věrohodný pohyb. Je to důležité, protože tvůrci mohou před animací přesně opravit, jak záběr vypadá, což samotný převod textu na video jen zřídka umožňuje.
Latentní obraz je naskládán s hlučným latentem každého snímku při každém kroku odstranění šumu, čímž se klip ukotví ke vstupu.
Tréninkové klipy byly seskupeny podle toho, kolik optického toku obsahovaly, takže hodnota určuje, kolik pohybu má výstup.
Více šumu na podmínce uvolní kotvu, takže video se odkloní dále od vstupu: více pohybu, více driftu.
Jediný obrázek neobsahuje nic o tom, co je skryté, a model nerekonstruuje 3D scénu, takže hádá.
Každý segment zdědí a přidává k chybám předchozího segmentu, takže driftujte sloučeniny přes opakovaná rozšíření.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Ovládání kamery v AI Video Generation
Vizuální AI