Il prossimoProssima guida
Correzione del contatto visivo con l'AI per video
IA visiva
GUIDA AI visiva
La trasformazione dello stile da video a video utilizza l'intelligenza artificiale, solitamente modelli di diffusione, per dare un nuovo aspetto ai filmati esistenti, come anime, animazioni in argilla o pittura a olio, mantenendo il movimento, i tempi e la composizione originali.
Ascolta questa guidaNarrato dall'IA · ~3 min
È importante perché consente ai creatori di riutilizzare performance reali e il lavoro della telecamera in nuovi stili visivi. Solleva inoltre questioni relative al consenso e al copyright quando il filmato originale mostra persone reali o appartiene a qualcun altro.
La maggior parte delle pipeline da video a video prevede due passaggi. Innanzitutto estraggono la struttura dal video sorgente: mappe di profondità da modelli come MiDaS o Depth Anything, mappe di bordi o linee, scheletri di pose umane da strumenti come OpenPose e talvolta flusso ottico, che registra il modo in cui i pixel si muovono tra i fotogrammi. Quindi generano nuovi fotogrammi condizionati da quella struttura più un suggerimento di stile o un'immagine di riferimento. ControlNet, introdotto nel 2023, ha reso questo pratico per Stable Diffusion consentendo la generazione di una mappa di profondità o di una posa di sterzo scheletrato senza riqualificare il modello base. L'impostazione chiave è solitamente la trasformazione o la forza di denoising. Il frame di origine viene parzialmente sottoposto a rumore e quindi rimosso dal rumore verso il nuovo stile. La bassa resistenza rimane vicina all'originale ma cambia poco. L'intensità elevata conferisce uno stile più audace, ma l'output inizia a deviare dalla sorgente e a sfarfallare tra i fotogrammi. Il condizionamento della profondità mantiene la disposizione della stanza e il posizionamento degli oggetti. Il condizionamento della posa mantiene il movimento umano. Le mappe dei bordi mantengono contorni precisi. Esistono tre approcci generali. La diffusione per fotogramma con ControlNet si basa su seed condivisi e attenzione tra fotogrammi per limitare lo sfarfallio. I metodi keyframe ridisegnano attentamente alcuni fotogrammi e propagano l'aspetto al resto, come fa EbSynth con la propagazione basata su patch. Metodi di ricerca come Rerender-A-Video e TokenFlow si spingono ulteriormente in quella direzione. I modelli video nativi che accettano un video in input, offerto dalla Gen-1 di Runway nel 2023, gestiscono il tempo all'interno del modello. Un malinteso comune è che il restyling renda anonime le persone o trasformi il filmato in una nuova opera liberamente utilizzabile. Non lo fa automaticamente. L'andatura, la forma del corpo, la voce e l'ambientazione rimangono spesso identificabili, i diritti di somiglianza e pubblicità possono ancora essere applicati e il filmato sottostante mantiene il copyright. Uso responsabile significa filmare il proprio materiale o ottenere il permesso e rivelare che il filmato è stato trasformato.
Un regista indipendente riprende gli attori in un garage e converte il filmato in un look fantasy dipinto, utilizzando mappe di profondità in modo che pareti, tavoli e porte mantengano la loro forma in ogni fotogramma.
Un creatore di danza estrae gli scheletri di posa da una routine e genera un personaggio animato che esegue la stessa coreografia con lo stesso tempismo.
Una piccola agenzia rinnova le riprese di prodotti per smartphone in un aspetto artigianale con uno strumento commerciale da video a video, riducendo la forza di trasformazione in modo che la forma e il logo del prodotto rimangano leggibili.
Qualcuno trasforma la clip virale di uno sconosciuto in una vignetta e la ripubblica. Il corpo, la voce e i gesti della persona sono ancora riconoscibili e il copyright dell'autore del caricamento originale non è scomparso.
I modelli di editing video-nativi che prendono una clip sorgente e seguono direttamente la struttura e il movimento stanno sostituendo le pipeline per fotogramma costruite manualmente in molti strumenti. Probabili aree di miglioramento sono clip più lunghe, una migliore conservazione di volti e mani e un controllo più preciso su quali regioni cambiano. Dal punto di vista dell'uso responsabile, gli standard di provenienza come le credenziali di contenuto C2PA, le regole di etichettatura della piattaforma e i requisiti di consenso per le sembianze di persone reali stanno diventando sempre più rilevanti. Non è ancora chiaro il modo in cui gli strumenti imporranno il consenso e diverse piattaforme e giurisdizioni potrebbero gestirlo in modo diverso.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
La trasformazione dello stile da video a video utilizza l'intelligenza artificiale, solitamente modelli di diffusione, per dare un nuovo aspetto ai filmati esistenti, come anime, animazioni in argilla o pittura a olio, mantenendo il movimento, i tempi e la composizione originali. È importante perché consente ai creatori di riutilizzare performance reali e il lavoro della telecamera in nuovi stili visivi. Solleva inoltre questioni relative al consenso e al copyright quando il filmato originale mostra persone reali o appartiene a qualcun altro.
Le pipeline acquisiscono innanzitutto la struttura della sorgente in modo che la generazione possa seguirne il layout e il movimento modificando lo stile.
ControlNet aggiunge un percorso di condizionamento in modo che input strutturali come la profondità o gli scheletri di posa guidino l'output di un modello esistente.
Una maggiore intensità disturba maggiormente la sorgente, il che dà al modello maggiore libertà. Ciò significa più stile ma meno fedeltà e più incoerenza da fotogramma a fotogramma.
Gli scheletri in posa catturano le posizioni articolari nel tempo, quindi preservano direttamente il movimento umano.
La propagazione dei fotogrammi chiave ridisegna attentamente alcuni fotogrammi e poi trasmette quell'aspetto al resto della clip.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Correzione del contatto visivo con l'AI per video
IA visiva