Műszaki ÚTMUTATÓ

CLIP pontszám és emberi preferencia mérőszámai

A CLIP pontszám azt méri, hogy egy generált kép mennyire illeszkedik a szöveges promptjához.

Hallgassa meg ezt az útmutatótAI-narrált · ~3 min

Ezen az oldalon4 perc olvasás
  1. Áttekintés
  2. Mély merülés
  3. Valós megvalósítás
  4. A CLIP-pontszám és az emberi preferencia-metrikák jövője
  5. A gyakorlatba ültetés
  6. Folytassa a felfedezést
  7. Gyakran ismételt kérdések

Áttekintés

Beágyazza a képet és a promptot a OpenAI CLIP modelljével, és összehasonlítja a két beágyazást. Az olyan emberi preferencia-metrikák, mint az ImageReward, a HPS és a PickScore, olyan modellek, amelyeket arra képeztek ki, hogy megjósolják, melyik kép közül melyiket választanák az emberek. Ezek a pontszámok azért számítanak, mert a FID önmagában semmit sem mond arról, hogy egy kép követi-e a parancsot, vagy vonzó-e az emberek számára, és mára már szabványosak a szöveg-képké alakító papírokban, a ranglistákban és a finomhangolási folyamatokban.

Mély merülés

Évekig a képgeneráló papírok főcímszáma a FID (Frechet Inception Distance) volt. A FID összehasonlítja az Inception hálózati jellemzőinek statisztikáit a generált képekből a valós fotók adataival. A valósághűséget és a sokszínűséget egy teljes adatkészlet szintjén rögzíti, de soha nem nézi a promptot, és nem tudja megmondani, hogy egyetlen kép jó-e. A CLIP pontszám kitölti az azonnali hiányt. A OpenAI 2021-ben adta ki a CLIP-et, amely kép-felirat párokra oktatott, így a megfelelő képek és szövegek szorosan egymás mellett helyezkednek el egy megosztott beágyazási térben. Egy generáció eléréséhez be kell ágyazni a képet és a promptot, és figyelembe kell venni a köztük lévő koszinusz hasonlóságot. Az eredményt általában megszorozzák 100-zal, vagy átskálázzák, mint a CLIPScore-dokumentumban Hessel és munkatársai. Egy prompt halmazhoz viszonyítva a magasabb pontszám jobb szövegigazítást jelent. Az emberi preferencia mérőszámai egy lépéssel tovább mennek azáltal, hogy tanulnak az emberek döntéseiből. Az ImageReward (2023) egy jutalommodellt képezett ki a generált képek szakértői rangsorán. A Human Preference Score (HPS, később HPS v2) finomhangolta a CLIP-et az ugyanabból a promptból készült képek közötti emberi választási lehetőségek nagy gyűjteményén. A PickScore-t a Pick-a-Pic-en képezték ki, egy olyan adatkészletet, amelyet egy webalkalmazás felhasználóitól gyűjtöttek össze, akik két generált kép közül választották ki kedvencüket. Ezek a modellek megragadják az esztétikát, a koherenciát és a vonzerőt, valamint az igazodást. Minden mérőszámnak vannak vakfoltjai. A CLIP részben szózsákként viselkedik: gyakran kihagyja a számokat, a térviszonyokat, a tagadást és azt, hogy melyik szín melyik objektumhoz tartozik. A preferenciális modellek öröklik a jegyzetelőik ízlését, és előnyben részesíthetik a csiszolt, telített megjelenést. Mindezek a pontszámok játszhatók. Ha egy modellt közvetlenül egy pontszám alapján optimalizál, akkor az megtanulhatja, hogy a pontozónak kedvezzen, nem pedig az embereknek. Általános tévhit, hogy a magasabb CLIP-pontszám mindig jobb képet jelent. A kis különbségek gyakran a zajon belül vannak, és a gondos értékelések az automatikus pontszámokat a kompozíciós referenciaértékekkel és az emberi tanulmányokkal párosítják.

Valós megvalósítás

A szöveg-kép modell két ellenőrzőpontját összehasonlító kutatócsoport ugyanahhoz a rögzített prompt halmazhoz állít elő képeket, és a FID mellett átlagos CLIP-pontszámot is közöl. Ez azt mutatja, hogy a gyors ragaszkodás javult a realizmus sérelme nélkül.

Egy képgeneráló alkalmazás kérésenként négy jelöltet hoz létre, rangsorolja őket a PickScore segítségével, és először a legmagasabb pontszámot elérő képet jeleníti meg.

Egy finomhangoló projekt az ImageRewardot jutalomjelként használja, hogy a Stable Diffusion modellt a preferált kimenetek felé tolja. A csapat ezután kézzel ellenőrzi a mintákat, hogy elkapja a jutalomhackelést, például a túltelített színeket.

Az értékelő azt látja, hogy a modell jól éri el a CLIP-pontszámot „egy piros kocka a kék gömb tetején”, még akkor is, ha a színek felcserélődnek. Hozzáadnak egy detektor-alapú kompozíciós referenciaértéket, például a GenEval-t, hogy elkapják ezeket az attribútum-kötési hibákat.

A CLIP-pontszám és az emberi preferencia-metrikák jövője

Az értékelés olyan módszerek felé halad, amelyek a képen szereplő konkrét állításokat ellenőrzik ahelyett, hogy egyetlen globális hasonlósági számra hagyatkoznának. A kérdés-megválaszolási megközelítések, mint például a TIFA és a detektoralapú benchmarkok, mint például a GenEval, megkérdezik, hogy a promptban szereplő egyes objektumok, számok és attribútumok valóban megjelennek-e. A multimodális nyelvi modelleket is egyre gyakrabban használják bíróként. Ezeknek az eszközöknek megvannak a maguk hibái és torzításai, így nagyobb valószínűséggel egészítik ki a beágyazási pontszámokat, mint helyettesítik azokat. A humán tanulmányok és a nyilvános színterek továbbra is a referenciapont maradnak. A kutatók még mindig azon vitatkoznak, hogyan gyűjtsenek preferenciaadatokat, amelyek a felhasználók széles körét tükrözik, nem pedig az annotátorok szűk csoportját.

A gyakorlatba ültetés

Miért számít

  • Költség és költségvetés. Az építészeti döntések évekig növelik a teljesítményt és a működési költségeket.
  • Tisztább döntések. A technikai oktatás segít a csapatoknak a megfelelő verem kiválasztásában, nem csak a legújabb készletben.
  • Minőségellenőrzés. A jobb mérnöki döntések csökkentik a termelés megbízhatósági incidenseit.

Vigyázz

  • Egy benchmark optimalizálása elrejtheti a rendszer általános hiányosságait.
  • Az infrastrukturális és karbantartási költségeket gyakran alábecsülik.
  • A biztonsági és megfigyelhetőségi hiányosságok a rendszerek bonyolultabbá válásával nőhetnek.

Következő lépések

  1. Határozza meg a késleltetési, minőségi és költségcélokat a megvalósítás előtt.
  2. Benchmark reális terhelési és adatviszonyok mellett.
  3. Műszerfigyelés a hibák, az eltolódás és a felhasználói hatások szempontjából.
  4. A méretezés előtt készítse elő a visszagörgetési és az incidensre adott válaszútvonalakat.

Folytassa a felfedezést

Ingyenes hírlevél

Szerezze meg a napi AI összefoglalót

Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.

Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.

Teszteld magad

Take the CLIP Score and Human Preference Metrics quiz

Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.

Kezdő kvíz

Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt

Gyakran ismételt kérdések

Mi az a CLIP Score és Human Preference Metrics?

A CLIP pontszám azt méri, hogy egy generált kép mennyire illeszkedik a szöveges promptjához. Beágyazza a képet és a promptot a OpenAI CLIP modelljével, és összehasonlítja a két beágyazást. Az olyan emberi preferencia-metrikák, mint az ImageReward, a HPS és a PickScore, olyan modellek, amelyeket arra képeztek ki, hogy megjósolják, melyik kép közül melyiket választanák az emberek. Ezek a pontszámok azért számítanak, mert a FID önmagában semmit sem mond arról, hogy egy kép követi-e a parancsot, vagy vonzó-e az emberek számára, és mára már szabványosak a szöveg-képké alakító papírokban, a ranglistákban és a finomhangolási folyamatokban.

Miért nem elegendő a FID önmagában a szöveg-kép modellek értékeléséhez?

A FID összehasonlítja a generált és a valós képek jellemzőstatisztikáit egy adatkészletben. Megragadja a valósághűséget és a sokszínűséget, de teljesen figyelmen kívül hagyja a felszólítást, vagyis azt a hiányosságot, amelyet a CLIP-pontszám kitöltésére szántak.

Hogyan számítják ki az alapvető CLIP-pontszámot?

A CLIP a képeket és a szöveget egy megosztott beágyazási helyre helyezi. A pontszám a képbeágyazás és az azonnali beágyazás közötti koszinusz hasonlóság, gyakran 100-ra skálázva.

Melyik adatkészletre képezték ki a PickScore-t?

A PickScore-t a Pick-a-Pic programon képezték ki, ahol a webalkalmazások felhasználói ugyanahhoz a prompthoz két generált kép közül választották ki kedvencüket.

Melyik gyengeség jellemző a CLIP-alapú pontozásra?

A CLIP részben szózsákként viselkedik. Észreveszi, hogy mely fogalmak vannak jelen, de gyakran figyelmen kívül hagyja, hogyan kapcsolódnak egymáshoz, például a számokat, a pozíciókat vagy a színes kötést.

Miért nem lehet közvetlenül összehasonlítani a különböző gerinchálózatokból származó CLIP pontszámokat?

Minden kódoló megtanulja a saját beágyazási terét, így ugyanaz a kép és prompt különböző pontszámokat kap a különböző kódolóktól. A papírokon fel kell tüntetni, hogy melyik kódolót használták.