NastępnyNastępny poradnik
Uczenie ze wzmocnieniem w handlu
Techniczne
PRZEWODNIK techniczny
Uczenie się ze wzmocnieniem na podstawie informacji zwrotnej od ludzi
Reinforcement learning from human feedback uses human judgments to construct a training signal for a model’s behavior.
Posłuchaj tego przewodnikaOpowiadane przez sztuczną inteligencję · ~2 min
Na tej stronie2 minuty czytania
Przegląd
It can improve agreement with collected preferences, but does not guarantee truthful, safe, or universally preferred answers.
Głębokie nurkowanie
A pretrained language model predicts plausible text, but plausible is not the same as helpful, honest, or safe. A common RLHF pipeline addresses these goals in stages. First, supervised fine-tuning teaches the model to follow instructions using human-written example answers. Next, humans compare pairs of model responses to the same prompt and pick the better one; these comparisons train a separate reward model that scores any response. Finally, the language model is optimized with reinforcement learning to produce responses the reward model rates highly. A penalty regularizes deviation from a reference policy; it does not eliminate exploitation of reward-model errors. RLHF was central to making ChatGPT-style assistants usable.
Implementacja w świecie rzeczywistym
Dostosowywanie asystenta czatu tak, aby odrzucał szkodliwe żądania i zapewniał pomocne, dobrze zorganizowane odpowiedzi, a nie tylko wiarygodny tekst.
Ranking par podsumowań według ludzkich preferencji trenowania modelu, który pisze podsumowania, które ludzie faktycznie uznają za przydatne.
Ograniczanie toksycznych lub stronniczych wyników poprzez nagradzanie odpowiedzi, które ludzie oceniają jako pełne szacunku i bezpieczne.
Używanie DPO na zestawie danych preferowanych i odrzuconych odpowiedzi w celu dostosowania modelu open source bez uruchamiania pełnej pętli PPO.
Przyszłość uczenia się przez wzmacnianie na podstawie informacji zwrotnych od ludzi
RLHF jest usprawniany i częściowo zautomatyzowany. DPO i powiązane metody bezpośrednich preferencji zastępują w wielu zespołach ciężki rurociąg PPO, a RLAIF wykorzystuje informacje zwrotne generowane przez sztuczną inteligencję (jak w przypadku konstytucyjnej sztucznej inteligencji), aby obniżyć koszty etykietowania. Badania zajmują się hakowaniem nagród, stronniczością autorów komentarzy i trudnościami w ocenie długich lub eksperckich odpowiedzi za pomocą technik takich jak nadzór procesu i debata. Oczekuj dostosowania, które połączy informacje zwrotne od ludzi i sztucznej inteligencji, bogatszych sygnałów nagrody wykraczających poza pojedynczy kciuk w górę oraz coraz większej kontroli tego, kto zapewnia preferencje i jakie wartości one kodują.
Wdrażanie tego w praktykę
Dlaczego to ma znaczenie
- Koszt i budżet. Decyzje dotyczące architektury wpływają na wydajność i koszty operacyjne przez lata.
- Jaśniejsze decyzje. Edukacja techniczna pomaga zespołom wybrać odpowiedni stos, a nie tylko najnowszy.
- Kontrola jakości. Lepsze wybory inżynieryjne zmniejszają liczbę incydentów związanych z niezawodnością w produkcji.
Uważaj na
- Optymalizacja jednego testu porównawczego może ukryć szersze słabości systemu.
- Koszty infrastruktury i utrzymania są często niedoszacowane.
- W miarę jak systemy stają się coraz bardziej złożone, luki w bezpieczeństwie i obserwowalności mogą się zwiększać.
Kolejne kroki
- Przed wdrożeniem zdefiniuj docelowe opóźnienia, jakość i koszty.
- Test porównawczy w realistycznych warunkach obciążenia i danych.
- Monitorowanie przyrządu pod kątem błędów, dryftu i wpływu użytkownika.
- Przed skalowaniem przygotuj ścieżki wycofywania zmian i reakcji na incydenty.
Odkrywaj dalej
Darmowy newsletter
Otrzymuj codzienne podsumowanie AI
Trzy zweryfikowane historie AI każdego poranka w dni robocze, napisane prostym angielskim. Bezpłatne na zawsze, bez reklam.
Jedno e‑mail każdego dnia roboczego. Wypisz się jednym kliknięciem. Nigdy nie sprzedajemy ani nie udostępniamy Twojego adresu.
Sprawdź się
Take the Reinforcement Learning From Human Feedback quiz
Natychmiastowa informacja zwrotna na każde pytanie oraz udostępnialny certyfikat z weryfikowalnym ID po zaliczeniu kursu.
Wspieraj darmową edukację AI. AI Understanding jest organizacją non-profit 501(c)(3) — bez reklam, bez płatnej ściany, zawsze. Przekaż darowiznę
Często zadawane pytania
What is Reinforcement Learning From Human Feedback?
Reinforcement learning from human feedback uses human judgments to construct a training signal for a model’s behavior. It can improve agreement with collected preferences, but does not guarantee truthful, safe, or universally preferred answers.
Jaki jest główny cel RLHF w modelu językowym?
RLHF kieruje model w stronę reakcji preferowanych przez ludzi, czyniąc go bardziej pomocnym, uczciwym i bezpiecznym, a nie tylko wiarygodnym.
Czego właściwie uczy się model nagrody w RLHF?
Model nagrody jest szkolony na podstawie porównań preferencji ludzi w celu uzyskania odpowiedzi, co stanowi sygnał, pod kątem którego polityka jest optymalizowana.
Co kara za rozbieżność KL w stosunku do polityki referencyjnej ma na celu uregulowanie celu RLHF?
Kara zniechęca do dużych zmian w polityce. Nie stanowi dowodu na to, że modelu nagrody nie da się wykorzystać ani że wygenerowane odpowiedzi są prawidłowe.
W jaki sposób zazwyczaj zbierane są dane dotyczące preferencji na potrzeby modelu nagrody?
Adnotatorzy wybierają preferowaną odpowiedź w porównaniach parami, co uczy modelu nagrody poprzez stratę w stylu Bradleya-Terry'ego.
Jaką przewagę oferuje DPO (Direct Preference Optimization) w porównaniu z klasycznym rurociągiem RLHF?
DPO wyprowadza cel bezpośrednio z preferencji, unikając oddzielnego modelu nagrody i kłopotliwego etapu uczenia się przez wzmacnianie.
Ucz się dalej
Powiązane przewodniki
Wybrano więcej przewodników na ten temat