LegközelebbKövetkező útmutató
Collecting Human Preference Data for RLHF
Nyelvi AI
Műszaki ÚTMUTATÓ
A CLIP pontszám azt méri, hogy egy generált kép mennyire illeszkedik a szöveges promptjához.
Hallgassa meg ezt az útmutatótAI-narrált · ~3 min
Beágyazza a képet és a promptot a OpenAI CLIP modelljével, és összehasonlítja a két beágyazást. Az olyan emberi preferencia-metrikák, mint az ImageReward, a HPS és a PickScore, olyan modellek, amelyeket arra képeztek ki, hogy megjósolják, melyik kép közül melyiket választanák az emberek. Ezek a pontszámok azért számítanak, mert a FID önmagában semmit sem mond arról, hogy egy kép követi-e a parancsot, vagy vonzó-e az emberek számára, és mára már szabványosak a szöveg-képké alakító papírokban, a ranglistákban és a finomhangolási folyamatokban.
Évekig a képgeneráló papírok főcímszáma a FID (Frechet Inception Distance) volt. A FID összehasonlítja az Inception hálózati jellemzőinek statisztikáit a generált képekből a valós fotók adataival. A valósághűséget és a sokszínűséget egy teljes adatkészlet szintjén rögzíti, de soha nem nézi a promptot, és nem tudja megmondani, hogy egyetlen kép jó-e. A CLIP pontszám kitölti az azonnali hiányt. A OpenAI 2021-ben adta ki a CLIP-et, amely kép-felirat párokra oktatott, így a megfelelő képek és szövegek szorosan egymás mellett helyezkednek el egy megosztott beágyazási térben. Egy generáció eléréséhez be kell ágyazni a képet és a promptot, és figyelembe kell venni a köztük lévő koszinusz hasonlóságot. Az eredményt általában megszorozzák 100-zal, vagy átskálázzák, mint a CLIPScore-dokumentumban Hessel és munkatársai. Egy prompt halmazhoz viszonyítva a magasabb pontszám jobb szövegigazítást jelent. Az emberi preferencia mérőszámai egy lépéssel tovább mennek azáltal, hogy tanulnak az emberek döntéseiből. Az ImageReward (2023) egy jutalommodellt képezett ki a generált képek szakértői rangsorán. A Human Preference Score (HPS, később HPS v2) finomhangolta a CLIP-et az ugyanabból a promptból készült képek közötti emberi választási lehetőségek nagy gyűjteményén. A PickScore-t a Pick-a-Pic-en képezték ki, egy olyan adatkészletet, amelyet egy webalkalmazás felhasználóitól gyűjtöttek össze, akik két generált kép közül választották ki kedvencüket. Ezek a modellek megragadják az esztétikát, a koherenciát és a vonzerőt, valamint az igazodást. Minden mérőszámnak vannak vakfoltjai. A CLIP részben szózsákként viselkedik: gyakran kihagyja a számokat, a térviszonyokat, a tagadást és azt, hogy melyik szín melyik objektumhoz tartozik. A preferenciális modellek öröklik a jegyzetelőik ízlését, és előnyben részesíthetik a csiszolt, telített megjelenést. Mindezek a pontszámok játszhatók. Ha egy modellt közvetlenül egy pontszám alapján optimalizál, akkor az megtanulhatja, hogy a pontozónak kedvezzen, nem pedig az embereknek. Általános tévhit, hogy a magasabb CLIP-pontszám mindig jobb képet jelent. A kis különbségek gyakran a zajon belül vannak, és a gondos értékelések az automatikus pontszámokat a kompozíciós referenciaértékekkel és az emberi tanulmányokkal párosítják.
A szöveg-kép modell két ellenőrzőpontját összehasonlító kutatócsoport ugyanahhoz a rögzített prompt halmazhoz állít elő képeket, és a FID mellett átlagos CLIP-pontszámot is közöl. Ez azt mutatja, hogy a gyors ragaszkodás javult a realizmus sérelme nélkül.
Egy képgeneráló alkalmazás kérésenként négy jelöltet hoz létre, rangsorolja őket a PickScore segítségével, és először a legmagasabb pontszámot elérő képet jeleníti meg.
Egy finomhangoló projekt az ImageRewardot jutalomjelként használja, hogy a Stable Diffusion modellt a preferált kimenetek felé tolja. A csapat ezután kézzel ellenőrzi a mintákat, hogy elkapja a jutalomhackelést, például a túltelített színeket.
Az értékelő azt látja, hogy a modell jól éri el a CLIP-pontszámot „egy piros kocka a kék gömb tetején”, még akkor is, ha a színek felcserélődnek. Hozzáadnak egy detektor-alapú kompozíciós referenciaértéket, például a GenEval-t, hogy elkapják ezeket az attribútum-kötési hibákat.
Az értékelés olyan módszerek felé halad, amelyek a képen szereplő konkrét állításokat ellenőrzik ahelyett, hogy egyetlen globális hasonlósági számra hagyatkoznának. A kérdés-megválaszolási megközelítések, mint például a TIFA és a detektoralapú benchmarkok, mint például a GenEval, megkérdezik, hogy a promptban szereplő egyes objektumok, számok és attribútumok valóban megjelennek-e. A multimodális nyelvi modelleket is egyre gyakrabban használják bíróként. Ezeknek az eszközöknek megvannak a maguk hibái és torzításai, így nagyobb valószínűséggel egészítik ki a beágyazási pontszámokat, mint helyettesítik azokat. A humán tanulmányok és a nyilvános színterek továbbra is a referenciapont maradnak. A kutatók még mindig azon vitatkoznak, hogyan gyűjtsenek preferenciaadatokat, amelyek a felhasználók széles körét tükrözik, nem pedig az annotátorok szűk csoportját.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A CLIP pontszám azt méri, hogy egy generált kép mennyire illeszkedik a szöveges promptjához. Beágyazza a képet és a promptot a OpenAI CLIP modelljével, és összehasonlítja a két beágyazást. Az olyan emberi preferencia-metrikák, mint az ImageReward, a HPS és a PickScore, olyan modellek, amelyeket arra képeztek ki, hogy megjósolják, melyik kép közül melyiket választanák az emberek. Ezek a pontszámok azért számítanak, mert a FID önmagában semmit sem mond arról, hogy egy kép követi-e a parancsot, vagy vonzó-e az emberek számára, és mára már szabványosak a szöveg-képké alakító papírokban, a ranglistákban és a finomhangolási folyamatokban.
A FID összehasonlítja a generált és a valós képek jellemzőstatisztikáit egy adatkészletben. Megragadja a valósághűséget és a sokszínűséget, de teljesen figyelmen kívül hagyja a felszólítást, vagyis azt a hiányosságot, amelyet a CLIP-pontszám kitöltésére szántak.
A CLIP a képeket és a szöveget egy megosztott beágyazási helyre helyezi. A pontszám a képbeágyazás és az azonnali beágyazás közötti koszinusz hasonlóság, gyakran 100-ra skálázva.
A PickScore-t a Pick-a-Pic programon képezték ki, ahol a webalkalmazások felhasználói ugyanahhoz a prompthoz két generált kép közül választották ki kedvencüket.
A CLIP részben szózsákként viselkedik. Észreveszi, hogy mely fogalmak vannak jelen, de gyakran figyelmen kívül hagyja, hogyan kapcsolódnak egymáshoz, például a számokat, a pozíciókat vagy a színes kötést.
Minden kódoló megtanulja a saját beágyazási terét, így ugyanaz a kép és prompt különböző pontszámokat kap a különböző kódolóktól. A papírokon fel kell tüntetni, hogy melyik kódolót használták.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Collecting Human Preference Data for RLHF
Nyelvi AI