NastępnyNastępny poradnik
Bezpośrednia optymalizacja preferencji
Językowa sztuczna inteligencja
PRZEWODNIK Językowy AI
Optymalizacja Kahnemana-Tversky’ego
Optymalizacja Kahnemana-Tversky’ego (KTO) to metoda dopasowywania, która uczy się na podstawie prostych etykiet z kciukiem w górę lub w dół, a nie z porównań parami.
Posłuchaj tego przewodnikaOpowiadane przez sztuczną inteligencję · ~2 min
Na tej stronie2 minuty czytania
Przegląd
Ma to znaczenie, ponieważ zbieranie binarnych informacji zwrotnych jest znacznie łatwiejsze i tańsze niż w przypadku par rankingowych, których wymaga większość metod.
Głębokie nurkowanie
KTO, wprowadzone przez Ethayarajha i współpracowników ze Stanford i Contextual AI w 2024 r., czerpie z teorii perspektywy, nagrodzonej Noblem pracy Daniela Kahnemana i Amosa Tversky'ego na temat tego, jak ludzie cenią zyski i straty. Standardowe metody, takie jak DPO, wymagają par preferencji: wybranej i odrzuconej odpowiedzi dla tego samego monitu. Zamiast tego KTO pracuje z niesparowanymi danymi, gdzie każde indywidualne wyjście jest po prostu oznaczone jako pożądane lub niepożądane. Tworzy świadomą dla człowieka stratę, która traktuje ulepszenie modelu na próbce jako zysk lub stratę w stosunku do punktu odniesienia, stosując niechęć do strat, tak aby niepożądane wyniki były surowiej karane niż pożądane. Dzięki temu zespoły mogą korzystać z licznych sygnałów kciuka w górę/w dół zebranych już w aplikacjach produkcyjnych.
Implementacja w świecie rzeczywistym
Korzystanie z kliknięć „kciuk w górę/w dół” we wdrożonym chatbocie w celu dostrojenia go bez konieczności tworzenia par preferencji
Wyrównywanie modelu, gdy masz stos „dobrych” i „złych” odpowiedzi, ale nie ma dopasowanych porównań dla tych samych podpowiedzi
Zespół ds. produktu wykorzystuje flagi moderacji (niepożądane) i zapisane odpowiedzi (pożądane) do szkolenia KTO
Radzenie sobie z niezrównoważonymi opiniami, w których niechęć jest rzadsza niż polubienie, poprzez dostrojenie niechęci do strat i wag klas KTO
Przyszłość optymalizacji Kahnemana-Tversky'ego
KTO dobrze sprawdza się w przypadku prawdziwych produktów, gdzie użytkownicy w naturalny sposób klikają „Lubię to” lub „Nie lubię”, ale rzadko umieszczają dwie odpowiedzi obok siebie. Spodziewaj się szerszego zastosowania pętli ciągłego doskonalenia, które wykorzystują informacje zwrotne z produkcji, a także badań nad dostrojeniem stosunku danych pożądanych do niepożądanych oraz wagi niechęci do strat. Połączenie ram ekonomii behawioralnej KTO z innymi celami i zastosowanie ich do multimodalnych informacji zwrotnych to aktywne kierunki, gdy zespoły szukają dostosowania na podstawie chaotycznych sygnałów ze świata rzeczywistego.
Wdrażanie tego w praktykę
Dlaczego to ma znaczenie
- Szybkość i skala. Przepływy pracy związane z językiem mogą przebiegać szybciej bez utraty spójności.
- Dostęp i zasięg. Rozszerza dostęp w różnych językach i stylach komunikacji.
- Jaśniejsze decyzje. Zespoły mogą spędzać więcej czasu na ocenie, podczas gdy automatyzacja radzi sobie z powtarzalnością.
Uważaj na
- Halucynacyjne fakty mogą po cichu trafiać do raportów, strumieni wsparcia lub wyników badań.
- Szybka czułość może spowodować niespójne wyniki w przypadku podobnych żądań.
- Wrażliwe dane tekstowe mogą zostać ujawnione, jeśli kontrola dostępu jest słaba.
Kolejne kroki
- Zdefiniuj format wyjściowy, ton i standardy jakości przed wdrożeniem.
- Zawsze, gdy liczy się dokładność, korzystaj z zaufanych źródeł.
- Utrzymuj punkt kontrolny weryfikacji ręcznej w przypadku wyników o wysokiej stawce.
- Śledź wzorce niepowodzeń i regularnie powtarzaj monity lub przepływy pracy.
Odkrywaj dalej
Darmowy newsletter
Otrzymuj codzienne podsumowanie AI
Trzy zweryfikowane historie AI każdego poranka w dni robocze, napisane prostym angielskim. Bezpłatne na zawsze, bez reklam.
Jedno e‑mail każdego dnia roboczego. Wypisz się jednym kliknięciem. Nigdy nie sprzedajemy ani nie udostępniamy Twojego adresu.
Sprawdź się
Take the Kahneman-Tversky Optimization quiz
Natychmiastowa informacja zwrotna na każde pytanie oraz udostępnialny certyfikat z weryfikowalnym ID po zaliczeniu kursu.
Wspieraj darmową edukację AI. AI Understanding jest organizacją non-profit 501(c)(3) — bez reklam, bez płatnej ściany, zawsze. Przekaż darowiznę
Często zadawane pytania
Co to jest optymalizacja Kahnemana-Tversky’ego?
Optymalizacja Kahnemana-Tversky’ego (KTO) to metoda dopasowywania, która uczy się na podstawie prostych etykiet z kciukiem w górę lub w dół, a nie z porównań parami. Ma to znaczenie, ponieważ zbieranie binarnych informacji zwrotnych jest znacznie łatwiejsze i tańsze niż w przypadku par rankingowych, których wymaga większość metod.
Jakich danych wymaga KTO?
KTO uczy się na podstawie prostych etykiet wskazujących kciuk w górę/w dół, a nie na podstawie dopasowanych par preferencji.
KTO inspiruje się jakim dziełem?
KTO zapożycza koncepcję teorii perspektywy, dotyczącą asymetrycznej wyceny zysków i strat, stąd nazwa.
Co to jest „awersja do strat” używana w KTO?
Teoria perspektywy mówi, że straty są większe niż zyski, dlatego KTO przywiązuje większą wagę do ujemnych odchyleń.
What kind of feedback can KTO learn from without requiring paired comparisons?
KTO’s paper studies alignment from binary desirable/undesirable feedback on individual outputs; it still needs appropriate data and setup.
W KTO odchylenia są mierzone w stosunku do czego?
Funkcja wartości KTO ocenia, czy reakcja znajduje się powyżej, czy poniżej referencyjnej linii bazowej, traktując to jako zysk lub stratę.
Ucz się dalej
Powiązane przewodniki
Wybrano więcej przewodników na ten temat