Il prossimoProssima guida
Sora e testo in video
IA visiva
GUIDA AI visiva
Make-A-Video è il sistema 2022 di Meta che trasforma un messaggio di testo in un breve video clip senza mai esercitarsi sulle coppie testo-video etichettate.
Ascolta questa guidaNarrato dall'IA · ~2 min
È importante perché ha dimostrato che la conoscenza visiva all'interno dei modelli testo-immagine può essere "insegnata" a muoversi utilizzando solo video senza etichetta.
Make-A-Video, announced by Meta AI in September 2022, generates brief video clips from text prompts. Its key trick is decoupling appearance from motion: a text-to-image model learns what things look like from paired text-image data, while separate spatiotemporal layers learn how they move from video footage with no associated text. Meta said this reduced the need for paired text-video examples and that the research used publicly available datasets. Meta also described making videos from images and creating new videos similar to existing videos. The base model produces low-resolution, low-frame-rate clips, then dedicated networks interpolate extra frames and upscale spatial resolution. The result was strikingly coherent for its era, though clips were short, blurry, and prone to flicker and warping.
Animare una singola frase descrittiva in una breve clip in loop per un post sui social media
Dare vita a un concetto statico come "un orsacchiotto che dipinge un ritratto" come un'illustrazione in movimento
Interpolazione tra due immagini fisse fornite dall'utente per creare un video con transizione fluida
Generazione di bozze in rapido movimento di scene immaginate per lo storyboard prima di qualsiasi ripresa
La ricetta dell'immagine precedente e del movimento senza etichetta di Make-A-Video ha dato vita all'intera onda da testo a video. I suoi discendenti enfatizzano clip più lunghe, ad alta risoluzione e temporalmente stabili con movimento della telecamera e audio controllabili. Aspettatevi che l’idea centrale, ovvero il riutilizzo di un’enorme conoscenza delle immagini e l’apprendimento del movimento a basso costo, persista anche quando le architetture si spostano verso la diffusione latente basata su trasformatori e modelli unificati che accettano anche il condizionamento di immagini o video per l’editing e la continuazione.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Make-A-Video è il sistema 2022 di Meta che trasforma un messaggio di testo in un breve video clip senza mai esercitarsi sulle coppie testo-video etichettate. È importante perché ha dimostrato che la conoscenza visiva all'interno dei modelli testo-immagine può essere "insegnata" a muoversi utilizzando solo video senza etichetta.
Make-A-Video disaccoppia il problema: un modello testo-immagine apprende come appaiono le cose dalle immagini con didascalie, mentre livelli temporali separati apprendono il movimento da video grezzi e senza etichetta.
Estende le circonvoluzioni spaziali 2D e l'attenzione con nuovi livelli temporali che apprendono come il contenuto cambia nel tempo.
Dopo una bozza grossolana a bassa risoluzione e con un frame rate basso, l'interpolazione aggiunge fotogrammi e i moduli a super risoluzione aumentano la risoluzione.
Le clip duravano solo pochi secondi, avevano una risoluzione relativamente bassa e erano soggette a sfarfallio temporale e distorsione.
Meta said Make-A-Video can create videos from images as well as text prompts.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Sora e testo in video
IA visiva