ChemDIRT benchmark yana gano canje-canjen aikin LLM na sunadarai tare da tsokaci da wakilcin kwayoyin halitta

Me ya faru

Masu bincike sun gabatar da ChemDIRT, ma'auni da aka tsara don gwada ko manyan nau'ikan harshe na iya yin tunani akai-akai game da ilmin sinadarai lokacin da kalmomin matsala ko yadda ake wakiltan bayanan sinadarai suka canza. Takardar ta ce tana kimanta daidaito da daidaito a tsakanin bambance-bambancen sarrafawa a cikin umarni da wakilcin kwayoyin halitta, wanda ya kunshi nau'ikan ayyukan sunadarai guda takwas. Marubutan sa sun ba da rahoton gaggauwa ga saurin fahimta, dogaro da wakilci da aiki mara daidaituwa a tsakanin iyalai na ɗawainiya tsakanin nau'ikan nau'ikan buɗaɗɗe da rufaffiyar tushe.

ChemDIRT yana tsaye don Bambance-bambancen Umarni, Wakilci, da Alamar Task. Marubutan sun gabatar da shi a matsayin tsarin kimantawa ga manyan nau'ikan harshe masu dogaro da ilmin sunadarai, waɗanda amfaninsu a cikin saitunan kimiyya ya faɗaɗa. Madogararsa ta tsara matsalar azaman iyakance ma'auni na sinadarai: da yawa suna tantance ƙunƙun tsarin ayyuka kuma suna amfani da ƙayyadaddun nau'ikan ƙirƙira matsala ko wakilcin sinadarai. A cikin ra'ayi na marubuta, wannan zai iya ba da hoton da bai cika ba na ikon samfurin yin tunani akai-akai.

Alamar ma'auni ta bambanta abubuwan shigar guda biyu waɗanda zasu iya tasiri a zahiri ga martanin samfurin harshe: umarnin da aka yi amfani da shi don haifar da matsala da wakilcin da ake amfani da shi don bayyana bayanan sinadarai. Ƙididdigar ƙididdiga ba ta ƙayyade ainihin canje-canjen kalmomi ko wakilcin da aka haɗa ba. Ya ce ChemDIRT yana auna aiki da daidaito a ƙarƙashin rikicewar sarrafawa, maimakon dogaro da maki ɗaya kawai daga tsayayyen tsari ɗaya.

Takardar ta ce kimantawa ta ƙunshi nau'ikan ayyuka takwas na ayyukan sinadarai kuma ta ƙunshi nau'ikan nau'ikan bude-da rufaffiyar tushen LLMs. Madogarar da aka kawo ba ta suna iyalai ko samfuri na ɗawainiya ba, kuma ba ta ba da ƙidayar saitin bayanai, daidaitattun ƙididdiga, ƙididdige ƙima ko sakamako na asali. Don haka yana goyan bayan da'awar cewa masu binciken sun gudanar da ƙima mai faɗi daban-daban, amma ba cikakken kwatancen tsarin mutum ɗaya ba.

Sakamakon da aka ruwaito shine jagora maimakon lambobi a cikin tushen samuwa. Marubutan sun ce sun sami ƙwaƙƙwaran hankali ga faɗakarwa, dogaro ga wakilcin ƙwayoyin cuta da rashin daidaituwa a tsakanin iyalai masu aiki. A zahiri, abstract ɗin yana ba da hujjar cewa sakamakon samfurin akan tsarin ma'aunin sinadarai guda ɗaya bai kamata a ɗauke shi kai tsaye azaman shaida na tabbataccen tunanin sinadarai a cikin sauran nau'ikan ba. Madogararsa ba ta tabbatar da dalilin da ya sa keɓantattun samfuran ke da hankali ba ko kuma kowane tsarin ya fi sauran.

Bayanan tushe: arxiv.org ↗

Me ya sa yake da mahimmanci

Ma'auni na sinadarai waɗanda ke amfani da tsayayyen tsari ɗaya na iya sa ƙirar ta bayyana mafi ƙarfi fiye da yadda ake amfani da ita. Babban gudummawar ChemDIRT, bisa ga majiyar, ita ce auna ƙarfi a ƙarƙashin bambance-bambancen da tsarin sinadarai zai iya fuskanta a waje da daidaitaccen gwaji guda ɗaya. Wannan zai iya ba masu bincike da masu amfani da tushe mafi kyawu don yin hukunci ko LLMs sunadarai suna samar da ingantaccen sakamako ko sun dogara sosai akan tsarin kalmomi da shigarwar.

Babban mahimmanci shine methodological. LLM chemistry zai iya amsa daidai lokacin da aka gabatar da matsala a cikin nau'i ɗaya da aka saba yayin samar da wata amsa ta daban ko ba daidai ba bayan canjin lafazin ko canji a yadda ake shigar da kwayoyin halitta. Idan ba a auna wannan ɗabi'ar ba, ma'auni na iya ba da lada ga tsarin da aka saba da shi gwargwadon tunanin sinadarai mai iya canzawa. Zane-zane na ChemDIRT yana kaiwa wannan rata kai tsaye ta hanyar ɗaukar daidaito azaman abin kimantawa tare da daidaito.

Wannan yana da mahimmanci ga masu bincike kwatanta tsarin. Maki ɗaya na ma'auni na iya ɓoye iyawar da ba ta dace ba: ƙila na iya yin kyau akan wasu ayyukan sinadarai da rashin ƙarfi akan wasu, ko yin ƙarfi ga takamaiman wakilci kawai. Rahoton majiyar na rashin daidaituwa a tsakanin iyalai na ɗawainiya ya nuna cewa ya kamata a fassara jimillar maki da kulawa. Gwaji iri-iri na iya taimaka wa masu haɓaka ƙirar ƙira su gano inda ake buƙatar ƙarin horo, wakilcin wakilci ko kiyayewa, kodayake taƙaitaccen bayanin bai nuna waɗanne ayyukan da za su magance raunin da aka lura ba.

Batun kuma yana da mahimmanci ga mutanen da ke la'akari da aikin kimiyya na taimakon AI. Ana iya amfani da ƙirar sinadarai don tsara bayanai, amsa tambayoyin fasaha ko goyan bayan yanke shawara na bincike, amma tushen baya nuna cewa aikin ChemDIRT yana annabta nasara a cikin dakin gwaje-gwaje ko yanayin samarwa. Ƙarfi ga ɓarna a cikin ma'auni shaida ce mai amfani game da ingancin ƙima; ba shi kaɗai ba shaida ne cewa samfurin yana da lafiya ga yanke shawara na kimiyya marasa kulawa.

Don faffadan filin AI, takardar ta kwatanta dalilin da ya sa ba za a iya rage ƙayyadaddun kimar yanki zuwa makin-samfurin harshe na gaba ɗaya ba. Chemistry ya ƙunshi wakilci na musamman da nau'ikan ɗawainiya waɗanda za su iya fallasa yanayin gazawar da ke ɓoye ta hanyar gwajin amsa tambayoyi na yau da kullun. Madogarar tana goyan bayan ƙarami mafi ƙaranci cewa ChemDIRT yana ba da ƙarin ɗimbin hanya don bincika halayen sinadarai-LLM. Ba ta tabbatar da cewa maƙasudin tabbatacce ba ne ko kuma bincikensa ya shafi kowane yanki na kimiyya.

Abin kallo na gaba

Takardar siffa ce ta arXiv, kuma tushen da aka kawota ya ƙunshi taƙaitaccen bayani. Ba ya gano ƙirar ƙimanta, nau'ikan ɗawainiya, wakilcin ƙwayoyin cuta, girman saitin bayanai, sakamakon lambobi ko hanyoyin kwatantawa. Ana buƙatar waɗannan cikakkun bayanai don tantance ƙarfi da gabaɗayan binciken. Binciken bin diddigin ya kamata ya bincika ko ChemDIRT na iya sakewa, ko ɓarnar sa suna nuna ainihin ayyukan aikin sinadarai, kuma ko samfuran da ke yin aiki akai-akai akan ma'auni suma suna yin dogaro akan ɗakin gwaje-gwaje, na asibiti ko ayyukan masana'antu.

Na farko da ba a san shi ba shine abun da ke cikin alamar. Shafin arXiv da aka kawo yana ba da take da taƙaitaccen bayani amma ba cikakkun hanyoyin takardar ba, don haka masu karatu ba za su iya tantance ko wane nau'in aikin sinadari takwas aka yi amfani da su ba, yadda aka zaɓi wakilcin ƙwayoyin cuta, ko yadda aka gina bambance-bambancen koyarwar. Waɗannan zaɓuɓɓukan za su yi tasiri ko gwajin yana auna ƙarfin gaske ko kuma galibin hankali ga canje-canjen tsarin wucin gadi.

Na biyu da ba a san shi ba shine ma'auni da kwatankwacin kimantawa. Majiyar ta ce mawallafin sun nuna alamar buɗaɗɗe-da kuma rufaffiyar samfuri, amma ba ta bayyana su ba ko bayyana adadin tsarin da aka gwada. Hakanan yana bayar da ba da girman tasiri na lamba, ƙididdiga marasa tabbas ko gwaje-gwajen ƙididdiga. Idan ba tare da waɗannan cikakkun bayanai ba, ba za a iya auna ma'auni mai mahimmanci "mahimmanci" da dogaro da wakilci da kansa ba tare da bambance-bambancen samfuri-zuwa-samfuri, wahalar ɗawainiya ko yiwuwar gurɓatar bayanai.

Tambaya ta uku ita ce ingancin waje. Samfurin da ya tsaya tsayin daka a ko'ina cikin bambance-bambancen sarrafawar ChemDIRT na iya yin kuskuren sinadarai ko shawarwari marasa lafiya a cikin saitunan da ma'auni ke wakilta. Ya kamata aikin nan gaba ya gwada ko ma'aunin ma'aunin ya yi daidai da hukunce-hukuncen ƙwararru, tabbataccen sakamako na gwaji ko aiki akan ayyukan aikin sinadarai na gaske. Kwafi mai zaman kansa zai kuma taimaka tantance ko tsarin da aka ruwaito ya ci gaba da wanzuwa a cikin nau'ikan samfuri da saitin bayanai.

A ƙarshe, duba ko ChemDIRT ya zama tushen kimantawa ɗaya ko ya kasance shawara ta takarda ɗaya. Madogaran baya bayyana ko bayanan maƙasudin, lamba ko kayan aikin ƙima suna samuwa ga jama'a. Waɗancan tsallake-tsallake suna iyakance tabbatarwa nan take da ɗaukar aiki mai amfani. Har sai an bincika cikakkun takarda da kayan tallafi, mafi kyawun ƙarshe shine ChemDIRT yana gano matsalar ƙima mai ma'ana kuma ya ba da rahoton shaidar rashin zaman lafiya, yayin da girma da sakamako na zahiri na wannan rashin kwanciyar hankali ya kasance.

Jagorori masu alaƙa & tambayoyin tambayoyi