VolgendeVolgende gids
Gegevens over menselijke voorkeuren verzamelen voor RLHF
Taal AI
Technische GIDS
De CLIP-score meet hoe goed een gegenereerde afbeelding overeenkomt met de tekstprompt.
Luister naar deze gidsAI-verteld · ~3 min
Het integreert de afbeelding en de prompt met het CLIP-model van OpenAI en vergelijkt de twee insluitingen. Statistieken over menselijke voorkeuren, zoals ImageReward, HPS en PickScore, zijn modellen die zijn getraind om te voorspellen welke van verschillende afbeeldingen mensen zouden kiezen. Deze scores zijn van belang omdat FID alleen niets zegt over de vraag of een afbeelding de prompt volgt of mensen aanspreekt, en ze zijn nu standaard in tekst-naar-afbeelding-papers, scoreborden en fine-tuning pipelines.
For years the headline number in image generation papers was FID (Frechet Inception Distance). FID compares the statistics of Inception network features from generated images with those from real photos. It captures realism and diversity at the level of a whole dataset, but it never looks at the prompt, and it cannot tell you whether a single image is good. CLIP score fills the prompt gap. OpenAI released CLIP in 2021, trained on image-caption pairs so that matching images and text sit close together in a shared embedding space. To score a generation, you embed the image and its prompt and take the cosine similarity between them. The result is usually multiplied by 100, or rescaled as in the CLIPScore paper by Hessel and colleagues. Averaged over a prompt set, a higher score means better text alignment. Human preference metrics go a step further by learning from people's choices. ImageReward (2023) trained a reward model on expert rankings of generated images. Human Preference Score (HPS, later HPS v2) fine-tuned CLIP on large collections of human choices between images made from the same prompt. PickScore was trained on Pick-a-Pic, a dataset collected from users of a web app who picked their favorite of two generated images. These models capture aesthetics, coherence and appeal as well as alignment. Each metric has blind spots. CLIP behaves partly like a bag of words: it often misses counts, spatial relations, negation and which color belongs to which object. Preference models inherit the tastes of their annotators and can favor a polished, saturated look. All of these scores can be gamed. If you optimize a model directly against a score, it may learn to please the scorer rather than people. A common misconception is that a higher CLIP score always means a better image. Small differences are often within noise, and careful evaluations pair automatic scores with compositional benchmarks and human studies.
Een onderzoeksteam dat twee controlepunten van een tekst-naar-beeldmodel vergelijkt, genereert afbeeldingen voor dezelfde vaste promptset en rapporteert de gemiddelde CLIP-score naast FID. Dit laat zien dat de snelle naleving verbeterde zonder het realisme te schaden.
Een app voor het genereren van afbeeldingen creëert per aanvraag vier kandidaten, rangschikt ze met PickScore en toont de hoogst scorende afbeelding als eerste.
Een verfijningsproject gebruikt ImageReward als beloningssignaal om een Stable Diffusion-model in de richting van gewenste outputs te duwen. Het team controleert vervolgens de monsters met de hand om beloningshacks, zoals oververzadigde kleuren, op te sporen.
Een evaluator ziet dat een model goed scoort op de CLIP-score voor 'een rode kubus bovenop een blauwe bol', ook al zijn de kleuren verwisseld. Ze voegen een op detectoren gebaseerde compositiebenchmark toe, zoals GenEval, om deze attribuutbindende fouten op te sporen.
Evaluatie evolueert in de richting van methoden die specifieke claims in een afbeelding controleren in plaats van te vertrouwen op één globaal gelijkenisnummer. Vraag-antwoordbenaderingen zoals TIFA en op detectoren gebaseerde benchmarks zoals GenEval vragen of elk object, elke telling en elk attribuut in de prompt daadwerkelijk verschijnt. Multimodale taalmodellen worden ook steeds vaker als beoordelaar gebruikt. Deze tools hebben hun eigen fouten en vooroordelen, waardoor het waarschijnlijker is dat ze de inbeddingsscores aanvullen dan vervangen. Menselijke studies en publieke arena's blijven het referentiepunt. Onderzoekers debatteren nog steeds over de vraag hoe ze voorkeursgegevens kunnen verzamelen die een breed scala aan gebruikers weerspiegelen in plaats van een beperkte groep annotators.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
De CLIP-score meet hoe goed een gegenereerde afbeelding overeenkomt met de tekstprompt. Het integreert de afbeelding en de prompt met het CLIP-model van OpenAI en vergelijkt de twee insluitingen. Statistieken over menselijke voorkeuren, zoals ImageReward, HPS en PickScore, zijn modellen die zijn getraind om te voorspellen welke van verschillende afbeeldingen mensen zouden kiezen. Deze scores zijn van belang omdat FID alleen niets zegt over de vraag of een afbeelding de prompt volgt of mensen aanspreekt, en ze zijn nu standaard in tekst-naar-afbeelding-papers, scoreborden en fine-tuning pipelines.
FID vergelijkt functiestatistieken van gegenereerde en echte afbeeldingen in een dataset. Het weerspiegelt realisme en diversiteit, maar negeert de prompt volledig, het gat dat de CLIP-score moest opvullen.
CLIP plaatst afbeeldingen en tekst in een gedeelde insluitruimte. De score is de cosinusovereenkomst tussen de afbeeldingsinsluiting en de promptinsluiting, vaak geschaald met 100.
PickScore is getraind in Pick-a-Pic, waarbij webapp-gebruikers hun favoriet uit twee gegenereerde afbeeldingen voor dezelfde prompt kozen.
CLIP gedraagt zich deels als een zak met woorden. Het merkt welke concepten aanwezig zijn, maar mist vaak hoe ze zich verhouden, zoals tellingen, posities of kleurbinding.
Elke encoder leert zijn eigen insluitingsruimte, zodat dezelfde afbeelding en prompt verschillende scores krijgen van verschillende encoders. Op de papieren moet staan welke encoder ze hebben gebruikt.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
Gegevens over menselijke voorkeuren verzamelen voor RLHF
Taal AI