Ayyukan ƙididdiga na sane da gine-gine yana haɓaka ƙarfafa koyo don ƙirar harshe

Me ya faru

Masu bincike sun gabatar da jigilar kaya mai ƙididdigewa, hanya don sanya darajar ƙarfafa-koyo ga alamomin mutum daidai da ƙididdigewa ta hanyar ƙirar harshe yayin amsawa. Aiwatar da su, CompPO, yana amfani da maida hankali ne don ƙirƙirar ƙofa mai riƙewa ta kowace alama kuma ta haɗa shi tare da mai sukar da ke sake amfani da ɓoyayyun jihohin ɗan wasan da bayanan da ke ba da izini.

Rubutun da aka ƙaddamar zuwa arXiv a kan Agusta 21 yana ba da shawarar sabuwar hanya don ba da ƙima yayin ƙarfafa koyo don manyan nau'ikan harshe. Takardar ta raba aikin bashi zuwa sassa uku: shaida game da ko shirin ya yi nasara, wani ma'aikacin sufuri wanda ke canza waccan shaidar zuwa fa'idodin matakin-alama, da sabuntar lissafi wanda ke juya waɗannan fa'idodin zuwa canje-canjen manufofi. Mawallafa suna jayayya cewa aikin kwanan nan ya inganta sassa na farko da na uku, yayin da ka'idojin sufuri da aka saba amfani da su sun kasance masu zaman kansu daga tsarin gine-gine.

Tsarin da aka tsara, wanda ake kira jigilar kaya mai ƙididdigewa, yana amfani da ƙididdige ƙididdiga daga ƙididdige ɗabi'a na cikin gida don daidaita yadda ake jigilar kimar ƙasa ta hanyar fiddawa. Algorithm ɗin kankare, CompPO, yana jujjuya maida hankali na ɗan ƙasa zuwa ƙofar riƙewa mai iyaka don kowace alama. Ana amfani da wannan ƙofa duka biyu don bootstrapping mataki ɗaya da kuma ga wata hanyar da ta dogara gabaɗaya ta hanyar da ake kira Comp-GAE. Marubutan sun bayyana cewa ƙofa akai-akai tana rage hanyar zuwa ƙayyadaddun ƙimar fa'ida ta ƙayyadaddun ƙima, tana ba da hanyar haɗi zuwa daidaitaccen tushe.

CompPO kuma ya haɗa da mai sukar jigilar kayayyaki, ko TAC. Maimakon ƙara Mai Canjawa na biyu na sikelin iri ɗaya, TAC tana sake amfani da ɓoyayyun jihohin ɗan wasan da bayanan da ke ba da izini. Takardar ta ce ladan aikin da manufar manufofin PPO da aka yanke ba su canzawa; Canjin da ake da'awar shine yadda ake jigilar kuɗi da kuma yadda mai suka ya daidaita tare da wannan jigilar. A cikin gwaje-gwajen da aka yi amfani da tsaba na Qwen3-4B guda biyar, marubutan sun ba da rahoton 61.4% daidaitaccen riƙewa na ƙarshe, tare da tazarar amincewar 95% na 60.8% zuwa 62.0%, idan aka kwatanta da 53.8%, tare da tazara na 52.9% zuwa 54.7%, don kunna GRPO.

Sakamakon zubar da takarda ya danganta sakamakon da haɗuwa da sassan. Comp-GAE da aka haɗa tare da daidaitaccen mai suka ya kai 55.2%, yayin da TAC ɗin da aka haɗa tare da kafaffen kofa ya kai 56.4%; bai dace da cikakken tsarin ba. Mawallafa sun ba da rahoton tasirin hulɗar maki 2.4, tare da tazarar amincewar 95% na maki 1.9 zuwa 2.9. An ba da rahoton sarrafa shuffle da matsayi don tallafawa ƙayyadaddun jeri. CompPO ya kasance barga a cikin 10 na 12 PPO-grid yana gudana, idan aka kwatanta da 3 na 12 don saitin kwatancen. A kan daskararrun kimantawa, marubutan sun ba da rahoton ingantawa akan GRPO na 4.3 da 3.9 pass@1 macro maki akan Qwen3-4B da Llama-3.1-8B-Umarori, bi da bi.

Bayanan tushe: arxiv.org ↗

Me ya sa yake da mahimmanci

Sakamakon yana magance ƙaƙƙarfan ƙaƙƙarfan ƙaƙƙarfan ilmantarwa don manyan nau'ikan harshe: yanke shawarar waɗanne sassa na dogon amsa sun cancanci yabo ko zargi ga sakamako na ƙarshe. Mawallafa sun ba da rahoton ingantawa akan GRPO da aka saurara, amma shaidar ta fito ne daga preprint da ƙayyadaddun gwaje-gwaje, don haka gabaɗayan hanyar da farashin aiki ba su da tabbas.

Ƙarfafa koyo don ƙirar harshe dole ne ya haɗa lada ta ƙarshe zuwa yawancin alamomin mutum ɗaya da yanke shawara na tsaka-tsaki. Amsa na iya ƙunsar matakai masu amfani da mara amfani, amma hanyar da ke watsa kididdigar sakamako iri ɗaya a cikin dukkan martanin na iya ba da jagora mai rauni. Babban da'awar takarda ita ce ƙididdigewa na ƙirar na iya ba da takamaiman sigina don yanke shawarar yadda ƙarfi ya kamata ya ci gaba daga alama ɗaya zuwa na gaba.

Idan tasirin da aka ruwaito ya kasance a cikin mafi faffadan saituna, jigilar kaya na sane da gine-gine na iya yin ƙarin sabuntar koyo da niyya ba tare da buƙatar ma'anar lada daban ko manufar manufa ba. Wannan yana da mahimmanci saboda canje-canje ga aikin bashi na iya yuwu a haɗa su cikin bututun horo irin na PPO. Kwatancen da aka ruwaito tare da GRPO yana da dacewa musamman ga aikin ƙarfafa-ilimantarwa na LLM na yanzu saboda yana tsara hanyar da aka tsara azaman canji ga siginar horo maimakon sabon dangi ko samfurin mai fuskantar mai amfani.

Abubuwan da aka ba da rahoto suna da amfani saboda suna ba da shawarar ba a bayyana sakamakon ta ko dai ƙofar da aka samu da hankali ko kuma mai sukar da aka sake amfani da shi kaɗai ba. Cikakkar hanyar da aka yi mafi kyau fiye da bambance-bambancen ɓangarori biyu a cikin sakamakon da aka kawo, kuma marubutan sun ce shuffle da sarrafa matsayi suna goyan bayan ra'ayin cewa takamaiman yanayin jeri yana da mahimmanci. Hakanan kwatankwacin kwanciyar hankali yana nuna yuwuwar fa'ida mai amfani: ƙarancin gudu ba tare da tsayawa ba zai iya rage ɓata yunƙurin horarwa, kodayake tushen baya samar da ƙididdigewa ko ƙimar farashi.

Har ila yau ya kamata a karanta shaidar a matsayin sakamakon bincike na farko. Madogaran buguwa ce ta arXiv, ba bugu da aka yi bita na tsara ba, kuma ƙayyadaddun bayanan baya bayyana ayyukan da ke ƙasa, girman saiti, cikakkun bayanan aiwatarwa, kasafin kuɗin horo, ko hanyoyin ƙididdiga fiye da tazarar amincewa da aka ruwaito. Hakanan baya tabbatar da ko ribar ta zo tare da ƙarin ƙwaƙwalwar ajiya, latency, rikitaccen aikin injiniya, ko azanci ga tsarin kulawa. Tasirin jama'a don haka hanyar ta dogara ne akan ko masu bincike masu zaman kansu zasu iya sake haifar da sakamakon da kuma ko tsarin yana canjawa zuwa manyan samfura da maƙasudin ƙarfafa-koyo daban-daban.

Abin kallo na gaba

Muhimman gwaje-gwaje na gaba sune kwafi masu zaman kansu, samfuri mai faɗi da ɗaukar hoto, da kwatancen da suka haɗa da farashin horo, amfani da ƙwaƙwalwar ajiya, da lokacin aiki. Madogararsa ba ta tabbatar da ko CompPO yana aiki da dogaro fiye da rahoton Qwen3-4B da Llama-3.1-8B-Hukunce-hukuncen kimantawa ko kuma siginar da ya dogara da shi ya kasance mai amfani a cikin gine-ginen ƙira daban-daban.

Babban fifiko na farko shine maimaitawa sama da tsaban Qwen3-4B guda biyar da daskararrun da aka ruwaito. Ƙungiyoyi masu zaman kansu yakamata su gwada hanyar akan ƙarin girman ƙira, ayyukan horo, tsarin lada, da ƙirar ƙirar harshe. Madogarar sunaye Qwen3-4B da Llama-3.1-8B-Instruct, amma bai faɗi ko an kimanta hanyar a cikin kewayon samfura daban-daban ba ko kuma siginar kulawa ta kasance iri ɗaya a cikin gine-ginen da ke da karkata daban-daban ko ƙirar hankali.

Masu bincike kuma yakamata su auna cikakken cinikin horo. Takardar ta ce TAC tana sake yin amfani da ɓoyayyun jihohin ɗan wasan kwaikwayo da kuma sarrafa bayanai ba tare da na'urar Canjin ma'auni na biyu ba, amma tushen baya ƙididdige yawan amfani da ƙwaƙwalwar ajiya, lokacin horon agogon bango, buƙatun kayan masarufi, ko ƙididdige gabaɗaya. Waɗancan ma'aunai za su tantance ko daidaito da kwanciyar hankali da aka bayar da rahoton suna da amfani ga ƙungiyoyin da suka riga sun gudanar da bututun ƙarfafawa mai tsada.

Ya kamata ƙarin aiki ya bincika yadda ƙaƙƙarfan ƙofa mai ɗaukar hankali ta kasance. Shawarar da aka bayar da rahoton da sarrafa matsayi na goyan bayan jeri na musamman a cikin gwaje-gwajen, amma tushen baya nuna yadda ƙofa ke amsawa ga dogayen mahallin, abubuwan da ba a saba gani ba, lada ko hayaniya, ko canje-canje a faɗakarwa da samfuri. Har ila yau, ba a sani ba ko maida hankali shine amintaccen wakili don mahimmancin lissafi ko kawai sigina mai amfani ga takamaiman samfura da ayyuka da aka gwada.

A ƙarshe, matsayin hanyar a matsayin preprint al'amura. Madogararsa baya bayar da rahoton tabbatarwa mai zaman kansa, tura samarwa, samuwar lamba, ko sakamakon bita na tsara. Waɗancan tsallake-tsallake ba sa ɓarna binciken, amma suna barin tambayoyi masu mahimmanci ba a amsa su ba game da sake haifuwa da gama gari. Shari'ar da ta fi karfi zata buƙaci fitar da cikakkun bayanan aiwatarwa, madaidaitan ginshiƙan farashi, sakamako a cikin ƙarin gine-gine, da kuma shaidar cewa haɓakawa ya ci gaba a wajen saitin kimantawa na marubuta.

Jagorori masu alaƙa & tambayoyin tambayoyi