Ma'aunin Kimiyya na SWE-bench ya gano wakilan coding suna fama da software na kimiyya

Me ya faru

Wani samfurin arXiv yana gabatar da Kimiyyar SWE-bench, ma'auni-matakin ma'aji wanda ke rufe ayyuka 119 daga ma'ajiyar GitHub 98 a cikin sassan kimiyya 20. Marubutan sun ba da rahoton cewa wakili mafi kyawun aiki a cikin kimantawa, Claude Code tare da Opus-5 (max), ya sami ci gaba @ 1 a ƙasa da 50%.

Takardar ta fayyace hanyoyin gazawa guda huɗu masu maimaitawa a cikin bincikenta. Waɗannan naƙasu ne a cikin ilimin kimiyya ko abstraction; kuskuren bincike ko gyara matakin saman; rashin cikakkiyar ɗaukar hoto ko haɗin tsarin; da kuma gazawar haɓaka ilimin kimiyya fiye da abubuwan da aka lura. A dunkule, wannan jeri ya bayyana hanyoyi daban-daban guda hudu da gyara zai iya gazawa: wakili na iya rasa fahimtar kimiyyar da ta dace, bin hanyar da ba ta isa ba ko ta zahiri, ta kasa magance duka gyare-gyare ko haɗin kai, ko kuma kasa ɗaukar ilimi daga shari'o'in da ya gani zuwa wasu lokuta da suka wuce su. Majiyar ta gabatar da waɗannan a matsayin matakai masu maimaitawa a cikin nazarinta, don haka suna cikin lissafin gazawar takardar maimakon da'awar cewa kowane aiki yana nuna kowane tsari.

Har ila yau, marubutan sun gudanar da wani haɗe-haɗe wanda ke cire ƙayyadaddun jagorar kimiyya yayin da suke riƙe ma'ajin ajiya da mahallin aikin injiniya. Don haka kwatankwacin yana kiyaye wurin ajiya da mahallin aikin injiniya a wuri yayin canza kasancewar jagorar kimiyya bayyananne. Ana amfani da wannan saitin don bincika abin da ke faruwa lokacin da aka cire sashin jagora daga yanayin aikin da aka riƙe. Yana keɓance rawar da aka ba jagora a cikin kwatancen da aka ruwaito, ba tare da canza bayanin ayyukan ma'auni ba ko ƙara wani sakamakon wakili daban. Mabuɗin mahimmanci a cikin asusun takarda shine bambanci tsakanin riƙe mahallin injiniya da cire ƙayyadadden jagorar kimiyya.

Suna bayar da rahoton cewa ingantacciyar jagorar na iya takurawa gyare-gyare da inganta matsakaicin aiki da ingancin alama, yayin da jagororin da ba su dace ba na iya haifar da tsinkewa kuma ba lallai ba ne inganta ingantaccen nasarar gyarawa. Don haka, tasirin da aka ruwaito yana da sharadi maimakon daidaitaccen inganci: jagora na iya zama da amfani idan aka kafa ta da kyau, amma jagorar da ba ta da kyau tana iya tafiyar da gyara ta hanyar kafawa ba tare da samar da ingantacciyar nasarar gyara ba. Sakamakon ya shafi matsakaicin aiki da ingancin alamar da kuma ainihin nasarar gyarawa, kuma tushen ya bambanta waɗannan sakamakon maimakon ɗaukar su azaman masu musanyawa. Wannan shine cikakken cancantar da aka haɗe zuwa sakamakon jagora a cikin rubutun da aka kawo.

Bayanan tushe: arxiv.org ↗

Me ya sa yake da mahimmanci

Software na kimiyya na iya aiki azaman ɓangaren kayan aikin da ake amfani da su don samar da shaida. Ma'auni yana nuna cewa masu yin rikodin suna fuskantar ƙalubale fiye da gyaran lambobi na yau da kullun, gami da tunanin kimiyya, faffadan gyare-gyare, haɗa tsarin, da amfani da ilimi ga al'amuran da ba a sani ba.

Haɓaka jagora kuma yana dagula tunanin cewa ƙara ƙarin bayanan kimiyya zai sa wakili ya zama mafi aminci ko mafi inganci ta atomatik. A cewar majiyar, jagora mai amfani ya inganta matsakaicin aiki da ingancin alama, amma jagorar da ba ta dace ba zai iya daidaita tsarin gyara kuma ya kasa inganta ainihin nasarar gyara. Ma'anar ba wai bayanin kimiyya ba shi da wani amfani; shi ne cewa darajarsa ya dogara da yadda jagorar ta dace da gyaran da ake ƙoƙari. Don haka tushen ya bar mai karatu da sakamako na sharadi: irin wannan aikin gama-gari na samar da shiriya ana iya danganta shi da ingantawa a wasu yanayi da kuma dagewa ba tare da ingantaccen gyara ga wasu ba.

Wannan binciken yana da tasiri mai ma'ana ga mutanen da ke ba da bayanan yanki, fitar da kwatance, ko samar da bayani ga masu yin lamba. Waɗannan kayan su ne nau'ikan jagorar kimiyya a cikin faffadan ma'anar da tattaunawar ta yi amfani da su, don haka ƙaddamarwa ya sa ingancin su ya dace da tsarin gyarawa. Ana iya nufin bayanin kula, kwatance, ko bayani don taimakawa takura gyara, amma sakamakon da aka ruwaito yana nufin kasancewar irin wannan abu kadai bai isa ya kafa ingantaccen nasarar gyara ba. Bambance-bambancen da ya dace shine tsakanin jagora mai amfani wanda ya dace da aikin da jagorar da ba ta dace da shi ba. Wannan bambance-bambancen ya biyo bayan asusun aikin majiyar, ingancin alamar, dagewa, da ainihin nasarar gyarawa.

Jagoranci na iya taimakawa lokacin da yake daidai kuma ya dace da aikin, yayin da ƙarin mahallin zai iya jagorantar wakili zuwa ga gyara mara kyau. Takardar ba ta nuna daga maƙasudin sau nawa kowane sakamako ya faru ba. Saboda haka, rubutun da aka kawo yana goyan bayan ingantaccen fassarar maimakon ƙa'ida ta gaba ɗaya game da ƙarin mahallin: yana yin rikodin yuwuwar haɓakawa da yuwuwar daidaitawa, yayin barin mitar waɗannan sakamakon ba a fayyace ba. Muhimmancin sakamakon yana cikin wannan yanayin da ba a warware ba. Daidaita jagora ne, kuma ba kawai kasancewar ƙarin kalmomi a kusa da aikin ba, tattaunawar ta gano tana dacewa da halayen da aka ruwaito.

Abin kallo na gaba

Ana buƙatar cikakken takarda don tantance haɗaɗɗiyar ɗawainiya, kwatancen wakilai, ƙa'idar kimantawa, da ainihin maki. Muhimman tambayoyin buɗaɗɗen sun haɗa da yadda wakilai ke wakiltar, ko canja wurin binciken zuwa raye-rayen aikin kimiyya, da kuma yadda ingantaccen jagorar kimiyya ke inganta gyare-gyare ba tare da haifar da rudani ba.

Sakamakon jagora ya cancanci a bincika sosai a kimantawa na gaba. Madogararsa ta ba da rahoton matsakaicin aiki da tasirin tasiri, amma ƙayyadaddun bayanan baya ƙididdige ingantaccen, ayyana abin da aka ƙidaya a matsayin jagora mai tushe ko mara kyau, ko nuna ko tasirin ya bambanta ta fannin kimiyya ko tsarin aiki. Waɗannan tsallake-tsallake sun gano takamaiman bayanan da har yanzu ake buƙata don fassara sakamakon: girman canjin da aka bayar, ma'auni don kwatancen jagora guda biyu, da gwargwadon tasirin tasirin ya bambanta a cikin yankuna ko sigogi. Har sai an sami waɗannan maki, binciken jagora ya kasance kyakkyawan sakamako daga asusun da aka kawo maimakon cikakken ƙayyadadden ma'auni.

Har ila yau, ba a sani ba ko mafi girman aikin ma'auni yana haifar da ƙarin ingantaccen sakamako na kimiyya a aikace. Mafi kyawun sakamako akan ma'auni da ingantaccen ƙarshe don haka ba a gabatar da shi azaman sakamako daidai a cikin rubutun da aka kawo ba. Budaddiyar tambaya ta shafi canja wuri daga aikin da aka auna na gadon gwaji zuwa aikin kimiyya a aikace, gami da ko sakamakon ma'aunin ya ce wani abu game da amincin ƙarshe. Daftarin bai samar da shaidar da za ta warware wannan tambayar ba, don haka ya kasance abin dubawa tare da cikakkun bayanai na kawar da jagora da kuma kimantawa.

Preprint ɗin yana gabatar da gadon gwaji don nazarin iyawa da gazawar wakili; baya, daga rubutun da aka kawo, yana nuna amintaccen turawa, binciken kimiyya mai cin gashin kansa, ko ingantaccen ingantaccen bincike da aka buga. Waɗannan iyakoki sun bayyana abin da za a iya kuma ba za a iya fayyace su daga preprint kamar yadda aka bayyana a nan. Ana iya kallon gadon gwaji don abin da ya bayyana game da iyawa da gazawa, yayin da mafi ƙarfi da'awar da aka jera a cikin jumlar ba ta da tabbas a cikin rubutun da aka kawo. Don haka ya kamata hankali na gaba ya tsaya kan maƙasudin da aka bayyana da kuma binciken jagora, ba tare da ɗaukar su azaman tabbacin amincin tura sojoji ba, gano mai cin gashin kansa, ko haɓaka binciken da aka buga.

Jagorori masu alaƙa & tambayoyin tambayoyi