Mafunzo ya Kuimarisha Kutoka kwa Maoni ya Binadamu
RLHF ni mbinu inayogeuza modeli ya lugha mbichi kuwa msaidizi wa usaidizi, mwenye adabu kwa kuifunza kuhusu mapendeleo ya binadamu.
Muhtasari
It matters because it aligns model behavior with what people actually want, not just what is statistically likely.
Dive ya kina
Muundo wa lugha uliotayarishwa awali hutabiri maandishi yanayokubalika, lakini kusadikika si sawa na kusaidia, uaminifu, au salama. RLHF hurekebisha hili kwa hatua. Kwanza, urekebishaji mzuri unaosimamiwa hufunza kielelezo kufuata maagizo kwa kutumia majibu ya mfano yaliyoandikwa na binadamu. Kisha, wanadamu hulinganisha jozi za majibu ya kielelezo kwa haraka sawa na kuchagua bora zaidi; ulinganisho huu hufunza muundo tofauti wa zawadi unaopata jibu lolote. Hatimaye, muundo wa lugha umeboreshwa kwa ujifunzaji wa kuimarisha ili kutoa majibu viwango vya ubora wa zawadi. Adhabu huizuia kusogea mbali sana na muundo asili kwa hivyo ibaki kwa ufasaha na haitumii sifa za muundo wa zawadi. RLHF ilikuwa muhimu katika kufanya ChatGPT-msaidizi wa mtindo kutumika.
Ufahamu wa Kiufundi
Mtindo wa zawadi kwa kawaida hufunzwa kwa jozi za upendeleo na upotezaji wa mtindo wa Bradley-Terry, hujifunza kutoa jibu linalopendekezwa na mwanadamu alama ya juu zaidi. Kisha sera inasasishwa na PPO (Uboreshaji wa Sera ya Karibuni), ambayo huongeza zawadi huku adhabu ya tofauti ya KL dhidi ya muundo wa marejeleo inazuia uboreshaji kupita kiasi na 'kudukuliwa kwa zawadi'. Kwa sababu PPO ni ya uwongo, mbinu mpya zaidi kama vile DPO (Uboreshaji wa Upendeleo wa Moja kwa Moja) huruka muundo wa zawadi dhahiri na kitanzi cha uimarishaji, ikiboresha sera moja kwa moja kutoka kwa jozi za mapendeleo.
Athari za kimkakati
Cost and budget
Maamuzi ya usanifu huendesha utendaji na gharama ya uendeshaji kwa miaka.
Maamuzi ya wazi zaidi
Elimu ya kiufundi husaidia timu kuchagua safu sahihi, sio tu mpya zaidi.
Quality control
Chaguo bora za uhandisi hupunguza matukio ya kuaminika katika uzalishaji.
Mustakabali wa Kujifunza Kuimarisha Kutoka kwa Maoni ya Binadamu
RLHF inaratibiwa na inajiendesha kwa kiasi fulani. DPO na mbinu zinazohusiana za upendeleo wa moja kwa moja zinachukua nafasi ya bomba zito la PPO kwa timu nyingi, na RLAIF hutumia maoni yanayotokana na AI (kama ilivyo katika AI ya Kikatiba) ili kupunguza gharama za kuweka lebo. Utafiti ni kushughulikia udukuzi wa zawadi, upendeleo wa wachambuzi, na ugumu wa kutathmini majibu marefu au ya kitaalamu, kwa mbinu kama vile usimamizi wa mchakato na mjadala. Tarajia upatanishi ili kuchanganya maoni ya binadamu na AI, ishara tele za zawadi zaidi ya dole gumba moja, na uchunguzi unaoongezeka wa nani hutoa mapendeleo na maadili gani anayosimba.
Utekelezaji wa Ulimwengu Halisi
Kurekebisha msaidizi wa gumzo ili kukataa maombi hatari na kutoa majibu muhimu, yaliyopangwa vyema badala ya maandishi yanayokubalika.
Kuorodhesha jozi za muhtasari kulingana na matakwa ya mwanadamu ili kutoa mafunzo kwa mtindo unaoandika muhtasari ambao watu huona kuwa muhimu.
Kupunguza matokeo ya sumu au ya upendeleo kwa majibu ya zawadi ambayo wakadiriaji wa kibinadamu wanahukumu kuwa ya heshima na salama.
Kutumia DPO kwenye seti ya data ya majibu yanayopendekezwa dhidi ya yaliyokataliwa ili kupanga muundo wa chanzo huria bila kuendesha kitanzi kamili cha PPO.
Hatari & Walinzi
Kuboresha kiwango kimoja kunaweza kuficha udhaifu mkubwa wa mfumo.
Gharama za miundombinu na matengenezo mara nyingi hupunguzwa.
Mapengo ya usalama na uonekanaji yanaweza kukua kadiri mifumo inavyozidi kuwa ngumu.
Ramani ya Utekelezaji
Bainisha muda, ubora na malengo ya gharama kabla ya utekelezaji.
Benchmark chini ya mzigo halisi na hali ya data.
Ufuatiliaji wa ala kwa makosa, kuteleza, na athari za mtumiaji.
Tayarisha njia za urejeshaji na majibu ya matukio kabla ya kuongeza ukubwa.
Endelea Kuchunguza
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Reinforcement Learning From Human Feedback quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Mwongozo unaofuata
Mafunzo ya Kuimarisha
Maswali yanayoulizwa mara kwa mara
What is Reinforcement Learning From Human Feedback?
RLHF ni mbinu inayogeuza modeli ya lugha mbichi kuwa msaidizi wa usaidizi, mwenye adabu kwa kuifunza kuhusu mapendeleo ya binadamu. Ni muhimu kwa sababu inalinganisha tabia ya mfano na kile ambacho watu wanataka kweli, sio kile kinachowezekana kitakwimu.
Kusudi kuu la RLHF kwa modeli ya lugha ni nini?
RLHF inaelekeza kielelezo kuelekea majibu ambayo wanadamu wanapendelea, na kuifanya kuwa ya manufaa zaidi, ya uaminifu, na salama badala ya kusadikika tu.
Je, mtindo wa zawadi katika RLHF hujifunza kufanya nini hasa?
Muundo wa zawadi umefunzwa kuhusu ulinganisho wa mapendeleo ya binadamu na majibu ya alama, ikitoa ishara ambayo sera inaboresha dhidi yake.
Kwa nini adhabu ya KL-divergence dhidi ya mtindo asili inatumika wakati wa hatua ya RL?
Adhabu ya KL huweka sera iliyoboreshwa karibu na muundo wa marejeleo, ikilinda dhidi ya udukuzi wa zawadi na kupoteza ufasaha.
Je, data ya mapendeleo hukusanywa vipi kwa muundo wa zawadi?
Wachambuzi huchagua jibu linalopendekezwa kwa ulinganisho wa jozi, ambao hufunza muundo wa zawadi kupitia upotezaji wa mtindo wa Bradley-Terry.
Je, DPO (Uboreshaji wa Upendeleo wa Moja kwa Moja) inatoa faida gani juu ya bomba la kawaida la RLHF?
DPO hupata lengo moja kwa moja kutoka kwa mapendeleo, ikiepuka modeli tofauti ya zawadi na hatua ya kujifunza ya kuongeza nguvu.