Ururimi AI

Gukwirakwiza Politiki Yegeranye

Politiki ya Optimisiyonike (PPO) ni imbaraga zo kwiga algorithm zifitanye isano cyane no guhuza neza imvugo y'ururimi ruva mubitekerezo byabantu.

Incamake

Politiki ya Optimisiyonike (PPO) ni imbaraga zo kwiga algorithm zifitanye isano cyane no guhuza neza imvugo y'ururimi ruva mubitekerezo byabantu. Itezimbere politiki muburyo bwitondewe, buto kugirango wirinde ihungabana ryibasiye naive politike ya gradient.

Gukwirakwiza Politiki Yuzuye ni igice cyururimi-AI ikoreshwa mu gusoma, kubyara, gushyira mu byiciro, no guhindura inyandiko n'imvugo ku gipimo.

Kwibira cyane

PPO yatangijwe na OpenAI muri 2017 ihinduka inzu yakazi inyuma ya RLHF kuri sisitemu nka InstructGPT na ChatGPT. Ikibazo cyibanze muri politiki-icyiciro cya RL ni uko ivugurura rimwe rirenze rishobora gusenya imikorere. PPO ikemura iki kibazo hamwe na 'clips surrogate objectif': ipima uburyo burenze (cyangwa buto) bishoboka ko igikorwa cyahindutse na politiki ishaje, kugwiza icyo kigereranyo kubwinyungu (uko ibikorwa byari byiza kuruta uko byari byitezwe), kandi bigabanya ikigereranyo ku ntera ntoya nka 0.8 kugeza 1.2. Ibi byerekana intera politiki ishobora kwimuka kuri buri gihe, igakomeza kwiga neza mugihe ikomeje kwemerera gutera imbere. Mu ndimi-moderi RLHF, 'igikorwa' gitanga ikimenyetso cyangwa igisubizo, ibihembo biva muburyo bwo guhemba, kandi igihano cya KL-gutandukana bituma icyitegererezo kidahinduka kure yimyitwarire yambere.

Ubushishozi

PPO yerekana intego zaciwe: min (igereranyo * inyungu, clip (igereranyo, 1-eps, 1 + eps) * inyungu), aho igipimo aricyo gishya-kirenze-ibikorwa byashoboka. Inyungu zisanzwe zigereranijwe hamwe na rusange muri rusange hamwe no kwiga agaciro (kunegura). Muri RLHF, ibihembo byose bihuza amanota-yicyitegererezo amanota hamwe na buri kimenyetso cya KL kuri politiki yerekana, kuringaniza inyungu zigihembo cyo kuguma hafi yicyitegererezo cyambere.

Kumenya Politiki Yegeranye

Politiki yegeranye ya Optimisiyoneri (PPO) niyongerera imbaraga yo kwiga algorithm ifitanye isano no guhuza neza imvugo yerekana imvugo uhereye kubitekerezo byabantu. Itezimbere politiki muburyo bwitondewe, buto kugirango wirinde ihungabana ryibasiye naive politike ya gradient. Gukwirakwiza Politiki Yuzuye ni igice cyururimi-AI ikoreshwa mu gusoma, kubyara, gushyira mu byiciro, no guhindura inyandiko n'imvugo ku gipimo. Kugirango wubake byimbitse, fata Politiki ya Optimisiyoneri nkicyitegererezo gikora, ntabwo ari ikintu kimwe: gusobanura ibyagezweho, gusobanura ibitekerezo, no gutandukanya ibyo sisitemu ishobora gukora byizewe nibisaba guca imanza zinzobere.

Mubimenyerezo, amakipe akomeye akoresha Politiki ya Optimisiyonike ya Optimisiyoneri yerekana, kugarura, no gusuzuma imirongo nka sisitemu imwe y'itumanaho ihuriweho. Bandika ibipimo ngenderwaho byerekana intsinzi, bagerageza kurwanya amakuru afatika hamwe nakazi keza, kandi bagasubiramo bashingiye kubikorwa byagaragaye ko batsinzwe aho gutsinda inshuro imwe. Aha niho imyumvire yubumenyi ihinduka mubushobozi burambye kubicuruzwa, politiki, nibikorwa.

Ururimi rwakazi rushobora kugenda byihuse nta gutamba guhuzagurika. Mugihe kimwe, ibintu bya Hallucinated birashobora kwinjiza bucece raporo, gushyigikira imigendekere, cyangwa ibisubizo byubushakashatsi. Uburyo bukomeye cyane ni uguhuza umuvuduko wikigereranyo hamwe na disipuline yimiyoborere: kuyobora abaderevu, gufata ibimenyetso, gutangaza ibyemezo byicyemezo, no gukomeza kuvugurura uburyo bwo kwirinda nkimyitwarire yicyitegererezo, ibyo abakoresha bategereje, nibisabwa n'amategeko bigenda bihinduka.

Ingaruka z'Ingamba

Ururimi rwakazi rushobora kugenda byihuse nta gutamba guhuzagurika.

Ururimi rwakazi rushobora kugenda byihuse nta gutamba guhuzagurika. Mubikorwa byujuje ubuziranenge, ibi bihindurwa mumategeko agenga imikorere, imipaka nyirubwite, hamwe n'imihango yo gusubiramo kenshi kugirango amakipe ashobore kwigirira ikizere aho gupima ibidasobanutse.

Yagura uburyo bwindimi nuburyo bwo gutumanaho.

Yagura uburyo bwindimi nuburyo bwo gutumanaho. Mubikorwa byujuje ubuziranenge, ibi bihindurwa mumategeko agenga imikorere, imipaka nyirubwite, hamwe n'imihango yo gusubiramo kenshi kugirango amakipe ashobore kwigirira ikizere aho gupima ibidasobanutse.

Amakipe arashobora kumara umwanya munini murubanza mugihe automatike ikora gusubiramo.

Amakipe arashobora kumara umwanya munini murubanza mugihe automatike ikora gusubiramo. Mubikorwa byujuje ubuziranenge, ibi bihindurwa mumategeko agenga imikorere, imipaka nyirubwite, hamwe n'imihango yo gusubiramo kenshi kugirango amakipe ashobore kwigirira ikizere aho gupima ibidasobanutse.

Kazoza ka Politiki Yegeranye

PPO ikomeza gukomera ariko izwi cyane: ikenera urusobe rwagaciro rwihariye, kwitondera hyperparameter witonze, hamwe na compte nyinshi. Ubundi buryo bworoshye burimo kwiyongera, harimo DPO (nta RL na gato) na GRPO, igabanya umuyoboro wagaciro mugereranya ibyiza biva mumatsinda yibisubizo byatanzwe kandi byatanze uburyo bwo gutekereza vuba. PPO izakomeza aho ubushakashatsi kuri politiki bufasha rwose, ariko umurima urimo ucuruza bimwe mubintu bigoye kuburyo buhendutse.

Gushyira mu bikorwa Isi

Kuringaniza neza AmabwirizaGPT na ChatGPT gukurikiza amabwiriza nibyifuzo byabantu ukoresheje RLHF

Kumenyereza gukina-gukina na robo yubugenzuzi, PPO yumwimerere mbere yicyitegererezo cyururimi

Kugabanya uburozi cyangwa kunoza ubufasha mugukoresha amanota-yicyitegererezo amanota munsi ya KL

Kunoza ibikoresho-gukoresha cyangwa imyitwarire yintambwe nyinshi aho icyitegererezo gihembo cyo kurangiza imirimo neza

Uburyo bwo Gushyira mu bikorwa

Gukwirakwiza Politiki Yegeranye mu bikorwa

Kuringaniza neza AmabwirizaGPT na ChatGPT gukurikiza amabwiriza nibyifuzo byabantu binyuze kuri RLHF.

Kuringaniza neza AmabwirizaGPT na ChatGPT kugirango bakurikize amabwiriza nibyifuzo byabantu binyuze mumakipe ya RLHF mubisanzwe babona ibisubizo byiza iyo basobanuye ibipimo ngenderwaho byimbere, bagakomeza inzira yo kuzamura abantu kubibazo byimbitse, kandi bagakurikirana inyungu zibyara umusaruro nibiciro byamakosa mugihe runaka.

Gukwirakwiza Politiki Yegeranye mu bikorwa

Kumenyereza gukina-gukina na robo yubugenzuzi, PPO yumwimerere mbere yicyitegererezo cyururimi.

Imyitozo yo gukina umukino wo gukina no kugenzura imashini za robo, indangarugero yumwimerere ya PPO mbere yicyitegererezo cyururimi Amakipe akunze kubona ibisubizo byiza iyo asobanuye ibipimo byujuje ubuziranenge imbere, agakomeza inzira yo kuzamura abantu kubibazo, kandi akurikirana inyungu zibyara umusaruro hamwe nibiciro byamakosa mugihe.

Gukwirakwiza Politiki Yegeranye mu bikorwa

Kugabanya uburozi cyangwa kunoza ubufasha mugukoresha amanota-yicyitegererezo amanota munsi ya KL.

Kugabanya uburozi cyangwa kunoza ubufasha mugukoresha amanota yicyitegererezo mugihe cya KL imbogamizi Amakipe akunze kubona ibisubizo byiza mugihe asobanuye ibipimo byujuje ubuziranenge imbere, agakomeza inzira yo kuzamura abantu kubibazo, kandi akurikirana inyungu zibyara umusaruro hamwe nibiciro byamakosa mugihe runaka.

Gukwirakwiza Politiki Yegeranye mu bikorwa

Kunoza ibikoresho-gukoresha cyangwa imyitwarire yintambwe nyinshi aho icyitegererezo gihembo cyo kurangiza imirimo neza.

Kunoza ibikoresho-gukoresha cyangwa imyitwarire yintambwe-ntambwe aho icyitegererezo gihembo cyo kurangiza imirimo neza Amakipe ubusanzwe abona ibisubizo byiza iyo asobanuye ibipimo ngenderwaho byimbere, agakomeza inzira yo kuzamura abantu kubibazo byimbere, kandi agakurikirana inyungu zibyara umusaruro nibiciro byamakosa mugihe.

Ingaruka & Kurinda

!

Ibintu bifatika bishobora kwinjiza bucece raporo, gushyigikira imigendekere, cyangwa ibisubizo byubushakashatsi.

!

Kwihuta byihuse birashobora gukora ibisubizo bidahuye mubisabwa bisa.

!

Ibyanditswe byumvikana birashobora kugaragara niba kugenzura kugenzura ari ntege.

Igishushanyo mbonera

1

Sobanura imiterere isohoka, amajwi, hamwe nubuziranenge mbere yo gutangira.

Sobanura imiterere isohoka, amajwi, hamwe nubuziranenge mbere yo gutangira. Fata buri ntambwe nk irembo ryibimenyetso: niba ibipimo bitujujwe, hagarika kuzenguruka, funga icyuho, hanyuma noneho wagure imikoreshereze.

2

Ibisubizo byibanze hamwe nisoko yizewe igihe cyose ukuri kwingirakamaro.

Ibisubizo byibanze hamwe nisoko yizewe igihe cyose ukuri kwingirakamaro. Fata buri ntambwe nk irembo ryibimenyetso: niba ibipimo bitujujwe, hagarika kuzenguruka, funga icyuho, hanyuma noneho wagure imikoreshereze.

3

Komeza kugenzura abantu kugenzura ibisubizo byinshi.

Komeza kugenzura abantu kugenzura ibisubizo byinshi. Fata buri ntambwe nk irembo ryibimenyetso: niba ibipimo bitujujwe, hagarika kuzenguruka, funga icyuho, hanyuma noneho wagure imikoreshereze.

4

Kurikirana uburyo bwo kunanirwa no kongera imyitozo cyangwa akazi gahoraho.

Kurikirana uburyo bwo kunanirwa no kongera imyitozo cyangwa akazi gahoraho. Fata buri ntambwe nk irembo ryibimenyetso: niba ibipimo bitujujwe, hagarika kuzenguruka, funga icyuho, hanyuma noneho wagure imikoreshereze.

Komeza Ubushakashatsi