GUIDA TECNICA

Punteggio CLIP e metriche delle preferenze umane

Il punteggio CLIP misura quanto bene un'immagine generata corrisponde al messaggio di testo.

Ascolta questa guidaNarrato dall'IA · ~3 min

In questa pagina4 minuti di lettura
  1. Panoramica
  2. Immersione profonda
  3. Implementazione nel mondo reale
  4. Il futuro del punteggio CLIP e delle metriche delle preferenze umane
  5. Metterlo in pratica
  6. Continua a esplorare
  7. Domande frequenti

Panoramica

Incorpora l'immagine e il prompt con il modello CLIP di OpenAI e confronta i due incorporamenti. Le metriche delle preferenze umane come ImageReward, HPS e PickScore sono modelli addestrati per prevedere quale tra diverse immagini le persone sceglierebbero. Questi punteggi contano perché il FID da solo non dice nulla sul fatto che un'immagine segua il suo suggerimento o piaccia alle persone, e ora sono standard nei documenti di conversione del testo in immagine, nelle classifiche e nei processi di messa a punto.

Immersione profonda

Per anni il numero principale nei documenti sulla generazione di immagini è stato FID (Frechet Inception Distance). FID confronta le statistiche delle funzionalità della rete Inception dalle immagini generate con quelle delle foto reali. Cattura realismo e diversità a livello di un intero set di dati, ma non guarda mai il prompt e non può dirti se una singola immagine è buona. Il punteggio CLIP colma la lacuna immediata. OpenAI ha rilasciato CLIP nel 2021, addestrato su coppie immagine-didascalia in modo che immagini e testo corrispondenti si trovino vicini in uno spazio di incorporamento condiviso. Per segnare una generazione, incorpori l'immagine e il suo prompt e prendi la somiglianza del coseno tra di loro. Il risultato viene solitamente moltiplicato per 100 o ridimensionato come nel documento CLIPScore di Hessel e colleghi. In media su un set di prompt, un punteggio più alto significa un migliore allineamento del testo. Le misurazioni delle preferenze umane fanno un ulteriore passo avanti imparando dalle scelte delle persone. ImageReward (2023) ha addestrato un modello di ricompensa sulle classifiche degli esperti delle immagini generate. Human Preference Score (HPS, successivamente HPS v2) ha ottimizzato il CLIP su ampie raccolte di scelte umane tra immagini effettuate dallo stesso prompt. PickScore è stato addestrato su Pick-a-Pic, un set di dati raccolto dagli utenti di un'app Web che hanno scelto la loro preferita tra due immagini generate. Questi modelli catturano l’estetica, la coerenza e l’attrattiva, nonché l’allineamento. Ogni metrica ha punti ciechi. CLIP si comporta in parte come un sacco di parole: spesso trascura i conteggi, le relazioni spaziali, la negazione e quale colore appartiene a quale oggetto. I modelli di preferenza ereditano i gusti dei loro annotatori e possono favorire un aspetto raffinato e saturo. Tutti questi punteggi possono essere giocati. Se ottimizzi un modello direttamente rispetto a un punteggio, potrebbe imparare a compiacere il marcatore piuttosto che le persone. Un malinteso comune è che un punteggio CLIP più alto significhi sempre un'immagine migliore. Piccole differenze sono spesso all'interno del rumore e valutazioni attente abbinano i punteggi automatici a parametri di riferimento compositivi e studi sull'uomo.

Implementazione nel mondo reale

Un gruppo di ricerca che confronta due punti di controllo di un modello testo-immagine genera immagini per lo stesso set di prompt fisso e riporta il punteggio CLIP medio insieme al FID. Ciò dimostra che l’aderenza immediata è migliorata senza danneggiare il realismo.

Un'app per la generazione di immagini crea quattro candidati per richiesta, li classifica con PickScore e mostra per prima l'immagine con il punteggio più alto.

Un progetto di perfezionamento utilizza ImageReward come segnale di ricompensa per spingere un modello Stable Diffusion verso gli output preferiti. Il team quindi controlla manualmente i campioni per individuare l'hacking della ricompensa, come i colori troppo saturi.

Un valutatore vede che un modello ottiene un buon punteggio sul punteggio CLIP per "un cubo rosso sopra una sfera blu" anche se i colori sono invertiti. Aggiungono un benchmark compositivo basato su rilevatore come GenEval per individuare questi errori di associazione degli attributi.

Il futuro del punteggio CLIP e delle metriche delle preferenze umane

La valutazione si sta spostando verso metodi che controllano affermazioni specifiche in un'immagine invece di fare affidamento su un numero di somiglianza globale. Gli approcci di risposta alle domande come TIFA e benchmark basati su rilevatori come GenEval chiedono se ciascun oggetto, conteggio e attributo nel prompt viene effettivamente visualizzato. Anche i modelli linguistici multimodali vengono sempre più utilizzati come giudici. Questi strumenti hanno i loro errori e pregiudizi, quindi è più probabile che integrino i punteggi incorporati piuttosto che sostituirli. Gli studi umanistici e le arene pubbliche restano il punto di riferimento. I ricercatori stanno ancora discutendo su come raccogliere dati sulle preferenze che riflettano un’ampia gamma di utenti piuttosto che un gruppo ristretto di annotatori.

Metterlo in pratica

Perché è importante

  • Costo e budget. Le decisioni relative all'architettura determinano prestazioni e costi operativi per anni.
  • Decisioni più chiare. La formazione tecnica aiuta i team a scegliere lo stack giusto, non solo quello più nuovo.
  • Controllo di qualità. Migliori scelte ingegneristiche riducono gli incidenti legati all’affidabilità nella produzione.

Attenzione

  • L'ottimizzazione di un benchmark può nascondere debolezze di sistema più ampie.
  • I costi delle infrastrutture e della manutenzione sono spesso sottostimati.
  • Le lacune in termini di sicurezza e osservabilità possono aumentare man mano che i sistemi diventano più complessi.

Prossimi passi

  1. Definire obiettivi di latenza, qualità e costi prima dell'implementazione.
  2. Benchmark in condizioni di carico e dati realistiche.
  3. Monitoraggio dello strumento per errori, deriva e impatto sull'utente.
  4. Preparare percorsi di rollback e risposta agli incidenti prima della scalabilità.

Continua a esplorare

Newsletter gratuita

Ricevi il briefing quotidiano sull'IA

Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.

Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.

Mettiti alla prova

Take the CLIP Score and Human Preference Metrics quiz

Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.

Inizia il quiz

Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione

Domande frequenti

Che cosa sono il punteggio CLIP e le metriche delle preferenze umane?

Il punteggio CLIP misura quanto bene un'immagine generata corrisponde al messaggio di testo. Incorpora l'immagine e il prompt con il modello CLIP di OpenAI e confronta i due incorporamenti. Le metriche delle preferenze umane come ImageReward, HPS e PickScore sono modelli addestrati per prevedere quale tra diverse immagini le persone sceglierebbero. Questi punteggi contano perché il FID da solo non dice nulla sul fatto che un'immagine segua il suo suggerimento o piaccia alle persone, e ora sono standard nei documenti di conversione del testo in immagine, nelle classifiche e nei processi di messa a punto.

Perché il FID da solo non è sufficiente per valutare i modelli text-to-image?

Il FID confronta le statistiche delle caratteristiche delle immagini generate e reali in un set di dati. Cattura realismo e diversità ma ignora completamente il suggerimento, che è il divario che il punteggio CLIP è stato inserito per colmare.

Come viene calcolato il punteggio CLIP di base?

CLIP inserisce immagini e testo in uno spazio di incorporamento condiviso. Il punteggio è la somiglianza coseno tra l'incorporamento dell'immagine e l'incorporamento del prompt, spesso scalato di 100.

Su quale set di dati è stato addestrato PickScore?

PickScore è stato addestrato su Pick-a-Pic, in cui gli utenti dell'app Web hanno scelto la loro preferita tra due immagini generate per lo stesso prompt.

Quale debolezza è tipica del punteggio basato sul CLIP?

CLIP si comporta in parte come un sacco di parole. Nota quali concetti sono presenti ma spesso non vede come si relazionano, come conteggi, posizioni o associazione di colori.

Perché i punteggi CLIP di dorsali diverse non possono essere confrontati direttamente?

Ogni codificatore apprende il proprio spazio di incorporamento, quindi la stessa immagine e la stessa richiesta ottengono punteggi diversi da codificatori diversi. I documenti devono indicare quale codificatore hanno utilizzato.