GUIDA AI visiva

Trasformazione dello stile da video a video

La trasformazione dello stile da video a video utilizza l'intelligenza artificiale, solitamente modelli di diffusione, per dare un nuovo aspetto ai filmati esistenti, come anime, animazioni in argilla o pittura a olio, mantenendo il movimento, i tempi e la composizione originali.

Ascolta questa guidaNarrato dall'IA · ~3 min

In questa pagina4 minuti di lettura
  1. Panoramica
  2. Immersione profonda
  3. Implementazione nel mondo reale
  4. Il futuro della trasformazione dello stile da video a video
  5. Metterlo in pratica
  6. Continua a esplorare
  7. Domande frequenti

Panoramica

È importante perché consente ai creatori di riutilizzare performance reali e il lavoro della telecamera in nuovi stili visivi. Solleva inoltre questioni relative al consenso e al copyright quando il filmato originale mostra persone reali o appartiene a qualcun altro.

Immersione profonda

La maggior parte delle pipeline da video a video prevede due passaggi. Innanzitutto estraggono la struttura dal video sorgente: mappe di profondità da modelli come MiDaS o Depth Anything, mappe di bordi o linee, scheletri di pose umane da strumenti come OpenPose e talvolta flusso ottico, che registra il modo in cui i pixel si muovono tra i fotogrammi. Quindi generano nuovi fotogrammi condizionati da quella struttura più un suggerimento di stile o un'immagine di riferimento. ControlNet, introdotto nel 2023, ha reso questo pratico per Stable Diffusion consentendo la generazione di una mappa di profondità o di una posa di sterzo scheletrato senza riqualificare il modello base. L'impostazione chiave è solitamente la trasformazione o la forza di denoising. Il frame di origine viene parzialmente sottoposto a rumore e quindi rimosso dal rumore verso il nuovo stile. La bassa resistenza rimane vicina all'originale ma cambia poco. L'intensità elevata conferisce uno stile più audace, ma l'output inizia a deviare dalla sorgente e a sfarfallare tra i fotogrammi. Il condizionamento della profondità mantiene la disposizione della stanza e il posizionamento degli oggetti. Il condizionamento della posa mantiene il movimento umano. Le mappe dei bordi mantengono contorni precisi. Esistono tre approcci generali. La diffusione per fotogramma con ControlNet si basa su seed condivisi e attenzione tra fotogrammi per limitare lo sfarfallio. I metodi keyframe ridisegnano attentamente alcuni fotogrammi e propagano l'aspetto al resto, come fa EbSynth con la propagazione basata su patch. Metodi di ricerca come Rerender-A-Video e TokenFlow si spingono ulteriormente in quella direzione. I modelli video nativi che accettano un video in input, offerto dalla Gen-1 di Runway nel 2023, gestiscono il tempo all'interno del modello. Un malinteso comune è che il restyling renda anonime le persone o trasformi il filmato in una nuova opera liberamente utilizzabile. Non lo fa automaticamente. L'andatura, la forma del corpo, la voce e l'ambientazione rimangono spesso identificabili, i diritti di somiglianza e pubblicità possono ancora essere applicati e il filmato sottostante mantiene il copyright. Uso responsabile significa filmare il proprio materiale o ottenere il permesso e rivelare che il filmato è stato trasformato.

Implementazione nel mondo reale

Un regista indipendente riprende gli attori in un garage e converte il filmato in un look fantasy dipinto, utilizzando mappe di profondità in modo che pareti, tavoli e porte mantengano la loro forma in ogni fotogramma.

Un creatore di danza estrae gli scheletri di posa da una routine e genera un personaggio animato che esegue la stessa coreografia con lo stesso tempismo.

Una piccola agenzia rinnova le riprese di prodotti per smartphone in un aspetto artigianale con uno strumento commerciale da video a video, riducendo la forza di trasformazione in modo che la forma e il logo del prodotto rimangano leggibili.

Qualcuno trasforma la clip virale di uno sconosciuto in una vignetta e la ripubblica. Il corpo, la voce e i gesti della persona sono ancora riconoscibili e il copyright dell'autore del caricamento originale non è scomparso.

Il futuro della trasformazione dello stile da video a video

I modelli di editing video-nativi che prendono una clip sorgente e seguono direttamente la struttura e il movimento stanno sostituendo le pipeline per fotogramma costruite manualmente in molti strumenti. Probabili aree di miglioramento sono clip più lunghe, una migliore conservazione di volti e mani e un controllo più preciso su quali regioni cambiano. Dal punto di vista dell'uso responsabile, gli standard di provenienza come le credenziali di contenuto C2PA, le regole di etichettatura della piattaforma e i requisiti di consenso per le sembianze di persone reali stanno diventando sempre più rilevanti. Non è ancora chiaro il modo in cui gli strumenti imporranno il consenso e diverse piattaforme e giurisdizioni potrebbero gestirlo in modo diverso.

Metterlo in pratica

Perché è importante

  • Velocità e scala. L’intelligenza artificiale visiva può automatizzare le attività di ispezione, rilevamento ed etichettatura su larga scala.
  • Scelte di build. I team creativi possono prototipare i concetti più velocemente con meno revisioni manuali.
  • Team e flusso di lavoro. Le operazioni possono utilizzare segnali immagine e video che in precedenza erano difficili da elaborare.

Attenzione

  • I diritti di immagine e il consenso possono diventare rischi legali se la provenienza non è chiara.
  • Le prestazioni del modello possono variare in base all'illuminazione, ai dati demografici e agli ambienti.
  • I falsi positivi possono passare inosservati a meno che non vengano monitorate le soglie di confidenza.

Prossimi passi

  1. Definire i criteri di accettazione per i costi di precisione, richiamo ed errore.
  2. Testare con dati che corrispondono alle reali condizioni di produzione.
  3. Aggiungi la revisione umana per previsioni poco attendibili o ad alto impatto.
  4. Tieni traccia della deriva del modello e riconvalida dopo le modifiche alla fotocamera o al set di dati.

Continua a esplorare

Newsletter gratuita

Ricevi il briefing quotidiano sull'IA

Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.

Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.

Mettiti alla prova

Take the Video-to-Video Style Transformation quiz

Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.

Inizia il quiz

Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione

Domande frequenti

Cos'è la trasformazione dello stile da video a video?

La trasformazione dello stile da video a video utilizza l'intelligenza artificiale, solitamente modelli di diffusione, per dare un nuovo aspetto ai filmati esistenti, come anime, animazioni in argilla o pittura a olio, mantenendo il movimento, i tempi e la composizione originali. È importante perché consente ai creatori di riutilizzare performance reali e il lavoro della telecamera in nuovi stili visivi. Solleva inoltre questioni relative al consenso e al copyright quando il filmato originale mostra persone reali o appartiene a qualcun altro.

Qual è il tipico primo passo in una pipeline di restyling da video a video?

Le pipeline acquisiscono innanzitutto la struttura della sorgente in modo che la generazione possa seguirne il layout e il movimento modificando lo stile.

Cosa ha reso pratico ControlNet per Stable Diffusion?

ControlNet aggiunge un percorso di condizionamento in modo che input strutturali come la profondità o gli scheletri di posa guidino l'output di un modello esistente.

Cosa succede di solito quando si aumenta la forza di trasformazione o denoising?

Una maggiore intensità disturba maggiormente la sorgente, il che dà al modello maggiore libertà. Ciò significa più stile ma meno fedeltà e più incoerenza da fotogramma a fotogramma.

Quale segnale di condizionamento è più adatto a preservare la coreografia di un ballerino?

Gli scheletri in posa catturano le posizioni articolari nel tempo, quindi preservano direttamente il movimento umano.

In che modo i metodi keyframe come EbSynth si avvicinano al restyling?

La propagazione dei fotogrammi chiave ridisegna attentamente alcuni fotogrammi e poi trasmette quell'aspetto al resto della clip.