Kordhinta Siyaasada Ku Dhaw
U-Dhowraynta Siyaasadda (PPO) waa xoojinta barashada algorithm ee inta badan la xidhiidha habaynta habaynta luqadda ee jawaab celinta aadanaha.
Dulmar
Waxay horumarisaa siyaasadda iyadoo la adeegsanayo tallaabooyin taxaddar leh oo yaryar si looga fogaado xasillooni-darrada ku dhacda hababka kala duwanaanshaha siyaasadeed ee aan fududayn.
quusid qoto dheer
PPO waxaa soo bandhigay OpenAI 2017 waxayna noqotay faraska shaqada ee ka dambeeya RLHF nidaamyada sida InstructGPT iyo ChatGPT. Caqabada xudunta u ah siyaasada-suuqgeynta RL waa in hal cusbooneysiin oo aad u weyn ay burburin karto waxqabadka. PPO waxay tan wax uga qabanaysaa 'ujeedada beddelka ah ee la gooyay': waxay cabbirtaa inta in ka badan (ama ka yar) ay u badan tahay in falku uu ka soo horjeedo siyaasaddii hore, waxay ku dhufataa saamigaas faa'iidada (Intee in le'eg ayay falku ka fiicnaayeen intii la filayey), waxayna ku dhejisaa saamiga ilaa qiyaas yar sida 0.8 ilaa 1.2. Tani waxay koobaysaa ilaa inta ay siyaasadu u dhaqaaqi karto cusboonaysiin kasta, iyada oo waxbarashadu xasiloon tahay iyada oo wali ogolaanaysa horumar joogto ah. Qaabka-luqad ee RLHF, 'ficilku' waxa uu soo saarayaa calaamad ama jawaab, abaalgudku waxa uu ka yimaadaa qaabka abaal-marinta, iyo ciqaabta KL-kala-duwanaanta ayaa ka ilaalinaysa qaabka in uu aad uga fogaado dhaqankiisii asalka ahaa.
Aragtida Farsamada
PPO waxay kordhisaa ujeeddada la gooyey: min(saamiga * faa'iidada, clip (saamiga, 1-eps, 1+eps) * faa'iidada), halka saamiga uu yahay suurtogalnimada ficil-ka-guurka ee cusub. Faa'iidooyinka waxaa badanaa lagu qiyaasaa Qiyaasta Faa'iidada Guud iyo shabakad qiime la bartay (dhaleeceyn). Gudaha RLHF, wadarta abaal-marintu waxay isku daraysaa buundada-qaabka abaal-marinaha iyo rigoore kasta oo KL ah oo liddi ku ah siyaasadda tixraaca, isu-dheellitirka faa'iidada abaal-marineed ee ka dhanka ah ku-dhawaanshaha qaabka asalka ah.
Saamaynta Istiraatijiyadeed
Xawaaraha iyo miisaanka
Socodka shaqada luqaddu si dhakhso leh ayay u socon kartaa iyada oo aan la hurayn joogteynta.
Helitaanka iyo gaarsiinta
Waxay balaadhisaa gelitaanka luqadaha iyo qaababka isgaarsiinta.
Go'aamo cad
Kooxuhu waxay waqti badan ku qaadan karaan xukunka halka otomaatiggu uu qabanayo ku celcelinta.
Mustaqbalka Hagaajinta Siyaasada Ku Dhaw
PPO weli way xoog badan tahay laakiin waa mid caan ku ah daacadnimo: waxay u baahan tahay shabakad qiimo gaar ah, hagaajinta hyperparameter taxadar leh, iyo xisaabin badan. Beddelka fudud ayaa helaya, oo ay ku jiraan DPO (ma jiro RL haba yaraatee) iyo GRPO, kaas oo hoos u dhigaya shabakada qiimaha iyada oo qiyaaseysa faa'iidooyinka kooxaha jawaabaha muunada ah oo awood u yeeshay moodooyinka sababaynta dhawaan. PPO waxay ku sii jiri doontaa halka sahaminta siyaasadda ku jirta ay si dhab ah u caawinayso, laakiin goobta ayaa si firfircoon uga ganacsata qaar ka mid ah kakanaanta habab ka jaban.
Dhaqangelinta Adduunka-dhabta ah
Tilmaamaha hagaajinta wanaagsanGPT iyo ChatGPT si loo raaco tilmaamaha iyo dookhyada bini'aadamka ee loo maro RLHF
Tababarka ciyaarta-ciyaarta iyo wakiillada kontoroolka robotka, goobta asalka ah ee PPO ka hor moodooyinka luqadda
Yaraynta sunta ama hagaajinta caawinta iyadoo la kordhinayo buundada-qaababka abaal-marineed ee hoos yimaada xannibaadda KL
Hagaajinta isticmaalka qalabka ama habdhaqanka wakiilka tillaabooyin badan halkaas oo moodeelka lagu abaalmariyo inuu si sax ah u dhamaystiro hawlaha
Khatarta & Dariiqyada Ilaalada
Xaqiiqooyinka dhalanteed waxay si deggan u geli karaan warbixinnada, taageerada socodka, ama natiijooyinka cilmi-baarista.
Dareenka degdega ahi wuxuu abuuri karaa natiijooyin aan iswaafaqayn codsiyada la midka ah.
Xogta qoraalka xasaasiga ah ayaa laga yaabaa in la kashifo haddii kontaroolada gelitaanka ay daciif yihiin.
Qorshe Hawleedka Dhaqangelinta
Qeex qaabka wax soo saarka, codka, iyo heerarka tayada ka hor inta aan la baahin.
Jawaabaha salka ku haya ilo lagu kalsoon yahay mar kasta oo saxnidu ay muhiim tahay.
Hayso isbaarada dib u eegista bini aadamka ee wax soo saarka sare.
Lasoco qaababka guuldarada oo dib u leyli dardargelinta ama socodka shaqada si joogto ah.
Sii wad Sahaminta
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Proximal Policy Optimization quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hagaha xiga
Horumarinta Siyaasadda Qaraabada ee Kooxda
Su'aalaha soo noqnoqda
Waa maxay Proximal Policy Optimization?
U-Dhowraynta Siyaasadda (PPO) waa xoojinta barashada algorithm ee inta badan la xidhiidha habaynta habaynta luqadda ee jawaab celinta aadanaha. Waxay hagaajinaysaa siyaasadda si taxaddar leh, tillaabooyin yar yar si looga fogaado degganaansho la'aanta ku habsata hababka dabacsanaanta siyaasadda.
Dhibaato noocee ah ayaa marka ugu horaysa wax ka qabta PPO's 'jaridda'?
Jaridda saamiga itimaalka waxay ka hortagtaa wax cusub oo cusub inuu u dhaqaaqo siyaasadda aad u fog, taas oo ah isha ugu weyn ee xasilooni darida hababka siyaasadda
Qaabka luqadeed ee RLHF ee leh PPO, halkee buu ka yimaadaa calaamada abaalgudka inta badan?
Qaabka abaalgudka wuxuu bixiyaa abaal-marin heersare ah oo loogu talagalay jawaabaha la soo saaray, maadaama in bini'aadamku ay dhibco keenaan wax soo saar kasta inta lagu jiro RL waxay noqonaysaa mid aan macquul ahayn.
Muxuu ku sameeyaa ciqaabta kala-duwanaanshaha KL ee RLHF-ku-saleysan PPO?
Ciqaabta kasta ee KL ee lidka ku ah siyaasadda asalka ah (tixraaca) waxay ka niyad jabinaysaa moodalku inuu si weyn u beddelo dhaqankiisa isagoo cayrsanaya abaalmarinta.
Waa maxay doorka shabakada qiimaha (naqdiye) ee PPO?
PPO waa hab jilaa- naqdiya; Shabakadda qiimaha ayaa qiyaaseysa abaalmarinta la filayo, taasoo awood u siineysa qiyaasaha faa'iidooyinka (badanaa iyada oo loo marayo GAE) taas oo yaraynaysa kala duwanaanshaha.
Maxay 'faa'iidada' ka dhigan tahay PPO?
Faa'iidada waxay cabbirtaa inta ay ka fiican tahay (ama ka sii xun tahay) ficilka la doortay wuxuu ahaa marka loo eego qiyaasta qiimaha, iyada oo u sheegaysa siyaasadda tallaabooyinka la xoojinayo.