NastępnyNastępny poradnik
Zbieranie danych o preferencjach ludzkich dla RLHF
Językowa sztuczna inteligencja
PRZEWODNIK techniczny
Wynik CLIP i wskaźniki preferencji ludzkich
Wynik CLIP mierzy, jak dobrze wygenerowany obraz pasuje do podpowiedzi tekstowej.
Posłuchaj tego przewodnikaOpowiadane przez sztuczną inteligencję · ~3 min
Na tej stronie4 minuty czytania
Przegląd
Osadza obraz i monit za pomocą modelu CLIP OpenAI i porównuje oba osadzania. Metryki preferencji ludzi, takie jak ImageReward, HPS i PickScore, to modele wytrenowane w celu przewidywania, który z kilku obrazów wybiorą ludzie. Wyniki te mają znaczenie, ponieważ sam FID nie mówi nic o tym, czy obraz odpowiada sugestiom, czy też jest atrakcyjny dla ludzi, a obecnie są one standardem w dokumentach przetwarzających tekst na obraz, w rankingach i w procesach dostrajania.
Głębokie nurkowanie
Przez lata nagłówkiem w dokumentach generujących obrazy był FID (Frechet Inception Distance). FID porównuje statystyki funkcji sieci Inception z wygenerowanych obrazów z tymi z prawdziwych zdjęć. Oddaje realizm i różnorodność na poziomie całego zbioru danych, ale nigdy nie uwzględnia podpowiedzi i nie jest w stanie stwierdzić, czy pojedynczy obraz jest dobry. Wynik CLIP wypełnia lukę w podpowiedzi. OpenAI wypuścił CLIP w 2021 r., przeszkolony w zakresie par obrazów i podpisów, dzięki czemu pasujące obrazy i tekst znajdują się blisko siebie we wspólnej przestrzeni do osadzania. Aby ocenić pokolenie, osadzasz obraz i jego zachętę i obliczasz cosinus podobieństwa między nimi. Wynik zwykle mnoży się przez 100 lub przeskalowuje, jak w artykule CLIPScore autorstwa Hessela i współpracowników. Wyższy wynik, uśredniony dla zestawu podpowiedzi, oznacza lepsze wyrównanie tekstu. Wskaźniki preferencji ludzkich idą o krok dalej, ucząc się na podstawie ludzkich wyborów. ImageReward (2023) wyszkolił model nagród na podstawie rankingów eksperckich wygenerowanych obrazów. Human Preference Score (HPS, później HPS v2) precyzyjnie dostroił CLIP na dużych zbiorach ludzkich wyborów między obrazami wykonanymi z tego samego podpowiedzi. PickScore został przeszkolony w oparciu o Pick-a-Pic, zbiór danych zebranych od użytkowników aplikacji internetowej, którzy wybrali swój ulubiony z dwóch wygenerowanych obrazów. Modele te oddają estetykę, spójność i atrakcyjność, a także wyrównanie. Każda metryka ma martwe punkty. CLIP zachowuje się po części jak zbiór słów: często brakuje mu liczebności, relacji przestrzennych, negacji i tego, który kolor należy do jakiego obiektu. Modele preferencji dziedziczą gusta swoich adnotatorów i mogą faworyzować dopracowany, nasycony wygląd. Wszystkie te wyniki można rozegrać. Jeśli zoptymalizujesz model bezpośrednio pod kątem wyniku, może on nauczyć się zadowalać osobę oceniającą, a nie ludzi. Powszechnym błędnym przekonaniem jest to, że wyższy wynik CLIP zawsze oznacza lepszy obraz. Niewielkie różnice często wynikają z szumu, a dokładne oceny łączą automatyczne wyniki z wzorcami kompozycyjnymi i badaniami na ludziach.
Implementacja w świecie rzeczywistym
Zespół badawczy porównujący dwa punkty kontrolne modelu zamiany tekstu na obraz generuje obrazy dla tego samego stałego zestawu podpowiedzi i podaje średni wynik CLIP wraz z FID. To pokazuje, że szybkie przestrzeganie zasad poprawiło się bez szkody dla realizmu.
Aplikacja do generowania obrazów tworzy czterech kandydatów na każde żądanie, ocenia ich według PickScore i wyświetla jako pierwszy obraz z najwyższą liczbą punktów.
Projekt dostrajania wykorzystuje ImageReward jako sygnał nagrody, aby popchnąć model Stable Diffusion w kierunku preferowanych wyników. Następnie zespół ręcznie sprawdza próbki, aby wykryć włamania związane z nagrodami, takie jak przesycone kolory.
Osoba oceniająca widzi, że model osiąga dobre wyniki w teście CLIP dla „czerwonej kostki na niebieskiej kuli”, mimo że kolory zostały zamienione. Dodają oparty na detektorze test porównawczy kompozycji, taki jak GenEval, aby wychwycić te błędy wiązania atrybutów.
Przyszłość wskaźników CLIP i preferencji ludzkich
Ocena zmierza w kierunku metod sprawdzających konkretne twierdzenia na obrazie, zamiast polegać na jednym globalnym numerze podobieństwa. Podejścia oparte na odpowiedziach na pytania, takie jak TIFA i testy porównawcze oparte na detektorach, takie jak GenEval, pytają, czy każdy obiekt, liczba i atrybut w podpowiedzi rzeczywiście się pojawiają. Coraz częściej w sędziach wykorzystywane są także multimodalne modele językowe. Narzędzia te mają swoje własne błędy i uprzedzenia, więc częściej uzupełniają wyniki osadzania niż je zastępują. Punktem odniesienia pozostają badania humanistyczne i przestrzenie publiczne. Naukowcy wciąż debatują, w jaki sposób gromadzić dane dotyczące preferencji, które odzwierciedlałyby szeroki zakres użytkowników, a nie wąską grupę komentatorów.
Wdrażanie tego w praktykę
Dlaczego to ma znaczenie
- Koszt i budżet. Decyzje dotyczące architektury wpływają na wydajność i koszty operacyjne przez lata.
- Jaśniejsze decyzje. Edukacja techniczna pomaga zespołom wybrać odpowiedni stos, a nie tylko najnowszy.
- Kontrola jakości. Lepsze wybory inżynieryjne zmniejszają liczbę incydentów związanych z niezawodnością w produkcji.
Uważaj na
- Optymalizacja jednego testu porównawczego może ukryć szersze słabości systemu.
- Koszty infrastruktury i utrzymania są często niedoszacowane.
- W miarę jak systemy stają się coraz bardziej złożone, luki w bezpieczeństwie i obserwowalności mogą się zwiększać.
Kolejne kroki
- Przed wdrożeniem zdefiniuj docelowe opóźnienia, jakość i koszty.
- Test porównawczy w realistycznych warunkach obciążenia i danych.
- Monitorowanie przyrządu pod kątem błędów, dryftu i wpływu użytkownika.
- Przed skalowaniem przygotuj ścieżki wycofywania zmian i reakcji na incydenty.
Odkrywaj dalej
Darmowy newsletter
Otrzymuj codzienne podsumowanie AI
Trzy zweryfikowane historie AI każdego poranka w dni robocze, napisane prostym angielskim. Bezpłatne na zawsze, bez reklam.
Jedno e‑mail każdego dnia roboczego. Wypisz się jednym kliknięciem. Nigdy nie sprzedajemy ani nie udostępniamy Twojego adresu.
Sprawdź się
Take the CLIP Score and Human Preference Metrics quiz
Natychmiastowa informacja zwrotna na każde pytanie oraz udostępnialny certyfikat z weryfikowalnym ID po zaliczeniu kursu.
Wspieraj darmową edukację AI. AI Understanding jest organizacją non-profit 501(c)(3) — bez reklam, bez płatnej ściany, zawsze. Przekaż darowiznę
Często zadawane pytania
Co to jest wynik CLIP i wskaźniki preferencji ludzkich?
Wynik CLIP mierzy, jak dobrze wygenerowany obraz pasuje do podpowiedzi tekstowej. Osadza obraz i monit za pomocą modelu CLIP OpenAI i porównuje oba osadzania. Metryki preferencji ludzi, takie jak ImageReward, HPS i PickScore, to modele wytrenowane w celu przewidywania, który z kilku obrazów wybiorą ludzie. Wyniki te mają znaczenie, ponieważ sam FID nie mówi nic o tym, czy obraz odpowiada sugestiom, czy też jest atrakcyjny dla ludzi, a obecnie są one standardem w dokumentach przetwarzających tekst na obraz, w rankingach i w procesach dostrajania.
Dlaczego sam FID nie wystarczy do oceny modeli zamiany tekstu na obraz?
FID porównuje statystyki funkcji wygenerowanych i rzeczywistych obrazów w zbiorze danych. Oddaje realizm i różnorodność, ale całkowicie ignoruje zachętę, czyli lukę, którą miał wypełnić wynik CLIP.
Jak obliczany jest podstawowy wynik CLIP?
CLIP umieszcza obrazy i tekst we wspólnej przestrzeni do osadzania. Wynik to cosinus podobieństwa między osadzeniem obrazu a osadzeniem natychmiastowym, często skalowany do 100.
Na jakim zbiorze danych przeszkolono PickScore?
PickScore został przeszkolony w zakresie Pick-a-Pic, gdzie użytkownicy aplikacji internetowej wybierali swój ulubiony spośród dwóch wygenerowanych obrazów dla tego samego monitu.
Która słabość jest typowa dla punktacji opartej na CLIP?
CLIP zachowuje się częściowo jak zbiór słów. Zauważa, które pojęcia są obecne, ale często pomija ich powiązania, takie jak liczby, pozycje lub wiązanie kolorów.
Dlaczego nie można bezpośrednio porównać wyników CLIP z różnych sieci szkieletowych?
Każdy koder uczy się własnej przestrzeni osadzania, więc ten sam obraz i monit uzyskują różne oceny od różnych koderów. W dokumentach należy podać, jakiego kodera użyli.
Ucz się dalej
Powiązane przewodniki
Wybrano więcej przewodników na ten temat