Preprint yana ba da shawarar tsarin da za a iya dubawa don ƙididdigar LLM mai mai da hankali kan kuɗi

Me ya faru

Wani sabon bugu na arXiv yana gabatar da Tsarin Nazari-Tarfafa Ilimi, tsarin tushen ontology don yin babban nazarin ƙirar harshe a cikin kuɗin kasuwanci cikin sauƙin dubawa. Tsarin yana haɗa nau'ikan alaƙa, bayanan amincewa da zuriyar tushe zuwa abubuwan da aka dawo dasu.

Takardar, wacce aka mika wa arXiv a ranar 21 ga Agusta, ta bayyana Tsarin Nazarin Ilimin Koyarwa, ko KDAF, don haɓaka-ƙaramar haɓakawa a cikin kuɗin kasuwanci. An bayyana mayar da hankalinsa shine Tsare-tsare na Kudi da Bincike da sauran hanyoyin aiki da aka tsara inda masu amfani ke buƙatar kafa inda amsa ta fito bayan gaskiyar. Tsarin yana gina tsarin ilimin ilimin ontology ta hanyar matakai guda shida kuma yana amfani da hanyar dawowa da ake kira Context-Aware Relevance Propagation, ko CARP.

A cewar takardar, kowace gaskiyar da aka samo tana ɗauke da bayanai iri uku: nau'in dangantakarta, ƙimar amincewa da zuriyar tushe. Manufar ita ce a bayyana tsarin shaidar a sarari maimakon ɗaukar sassan da aka dawo da su azaman taga mahallin da ba ya bambanta. Takardar ta kuma ce marubutan sun ajiye saiti, tsarin ontology, tsokaci, rahotannin tantancewa da rubutun sake ginawa, kodayake tushen da aka bayar anan baya tabbatar da kayan aikin da kansa ko kuma ya bayyana amfanin sa.

Ƙimar ta yi amfani da tambayoyi 145 daga FinanceBench kuma idan aka kwatanta KDAF tare da sifili-yanayin yanayi, dawo da BM25, mai da ma'auni mai nauyi na lexical da kewayar hoto mara tushe. Takardar ta ba da rahoton cewa ƙididdige ma'anar sifili ya sami daidaiton kashi 4.1%, yayin da ƙarin yanayin sake dawowa ya kai kusan 10% zuwa 12%. Wannan yana goyan bayan mafi ƙaranci cewa maido da shaida yana da mahimmanci ga wannan gwajin, amma bai tabbatar da cewa KDAF ya fi kowane aikin kuɗi ba.

Babban sakamako shine rarrabuwa tsakanin daidaiton amsa da kuma duba. Takardar ta ba da rahoton cewa KDAF da BM25 sun kasance ba a iya bambanta ta hanyar ƙididdiga akan daidaitattun amsa, tare da rahoton bambanci na -0.007 da 95% tazarar amincewa daga -0.021 zuwa 0.000. Dangane da binciken F1, duk da haka, KDAF ya ci 0.515, wanda ya zarce tafiya mara tushe ta 0.027 da BM25 ta 0.052, tare da tazarar amincewa wanda ya ware sifili. Takardar ta ci gaba da bayar da rahoton cewa, babu wani abu daga cikin abubuwan da aka tsara jadawali 426 da suka fito daga wajen batun batun, idan aka kwatanta da 16.8% da 20.2% don ƙamus na ƙamus, kuma kowane abu da aka zaɓa ya warware zuwa cikakkiyar sarkar tabbatarwa.

Bayanan tushe: arxiv.org ↗

Me ya sa yake da mahimmanci

Takardar ta yi bayani kan shamaki mai amfani ga yin amfani da tsarin harshe a cikin tsare-tsare na kudi da bincike da sauran hanyoyin aiki da aka tsara: amsar na iya zama da kyau amma ba za a iya amfani da ita ba idan ba za a iya sake gina shaidarta ba. Sakamakon ya nuna cewa duba zai iya inganta koda lokacin da daidaiton amsa bai yi ba.

Matsala mai amfani ta saba da ƙungiyoyin da ke gwaji tare da ƙirar harshe: tsarin zai iya samar da ingantaccen bayanin kuɗi ba tare da baiwa mai duba hanyar da ta dace ta koma ga bayanan da ke ciki ba. A cikin aikin da aka tsara ko na kuɗi, wannan raunin yana rinjayar bita, gyara kuskure, lissafin lissafi da ikon yin bayanin yadda aka samar da fitarwa. Don haka takardar tana ɗaukar ganowa azaman keɓancewar tsarin mallakar tsarin maimakon ɗauka cewa mafi kyawun dawowa ta atomatik yana nufin ingantattun amsoshi.

Sakamakon da aka ruwaito yana ƙalubalantar gajeriyar hanyar tantancewa. Idan aka kwatanta tsarin musamman ta daidaiton amsa, tsarin da aka tsara a cikin wannan takarda ba zai tabbatar da ƙarin rikitarwa a ma'aunin da aka gwada ba. Daidaiton sa da aka ruwaito ya yi kama da BM25 a kididdiga, hanya mafi sauƙi ta dawo da lexical. Fa'idar da ake da'awar ta ta'allaka ne a cikin hanyar shaida: adana alaƙar mahalli da tabbatarwa na iya sa abubuwan da za a iya tantancewa ko da ba ta sa su zama daidai ba.

Wannan bambance-bambancen na iya zama mahimmanci ga ƙungiyoyi waɗanda ke yanke shawarar nawa kayan aikin da za su gina a kusa da kasuwancin AI. Tsarin dawowa da aka ƙera don tabbatarwa na iya taimaka wa masu dubawa su gano tushe da iyakar da'awar, gano shaidar da ke cikin abin da ba daidai ba da sake gina kayan da abin ƙira ke amfani da shi. Waɗancan ƙarfin na iya zama masu mahimmanci a cikin kuɗi, amma majiyar ba ta nuna cewa KDAF ta rage asarar kuɗi ba, taƙaitaccen bincike, ingantattun yanke shawara ko ƙaddamar da ƙima na ƙa'ida.

Takardar ta kuma ba da gargaɗi mai fa'ida game da ɗaukar tsararren maidowa azaman mafita ga daidaito na duniya. Sakamakon mummunan sakamako nasa ya ce ƙasan ontology ya sami rahoton farashin sa akan axis na duba, ba akan daidaiton amsa ba. Wannan ya sa binciken ya dace da saye da yanke shawara na mulki: ƙungiyoyi na iya buƙatar zaɓar tsarin dangane da sakamakon abubuwan da ba za a iya tantancewa ba, yayin da keɓe daban-daban na gwada aikin gaskiya, ɗaukar hoto, jinkiri, buƙatun kulawa da jimillar farashi.

Abin kallo na gaba

Aikin kimantawa ne da marubucin ya bayar da rahoton, ba shaida na ƙaddamar da samarwa ko yarda da tsari ba. Gwajin bin diddigin ya kamata ya bincika manyan bayanan kuɗi daban-daban, canza takaddun tushe, kwararar aikin mai amfani na gaske, farashin aiki da kuma ko masu binciken ɗan adam na iya dogaro da dogaro da bayanan tabbatarwa.

Tambayar nan da nan ita ce ko fa'idar ganowa da aka ruwaito ta tsira bayan kimantawa na 145 na FinanceBench. Ya kamata aikin gaba ya gwada ƙarin kamfanoni, lokutan rahoto, yanayin lissafin kuɗi, tsarin daftarin aiki da nau'ikan tambayoyi, gami da tambayoyin da suka haɗa da maƙasudai ko bayanan da ba su cika ba. Madogararsa ba ta tabbatar da yadda KDAF ke yin aiki ba lokacin da tushe masu tushe ba su yarda ba, sun ƙunshi kurakurai ko canji bayan an sami amsa.

Adadin kayan tarihi zai iya sauƙaƙa aikin sakewa, amma har yanzu ba a san ƙimar sa ba daga tushen da aka kawo. Ba a fayyace ko rubutun sake ginawa yana gudana a cikin mahallin kasuwanci na yau da kullun, nawa ake buƙatar ginin ontology na hannu, ko sau nawa dole ne a sabunta tsarin ilimin. Waɗannan cikakkun bayanai za su ƙayyade ko hanyar ita ce iko mai amfani ga ƙungiyoyin kuɗi ko galibi samfurin bincike.

Kasuwancin aiki kuma yana buƙatar aunawa. Madogararsa baya bayar da farashin turawa, lokutan amsawa, buƙatun ajiya, cikakkun bayanai na ƙira, buƙatun ma'aikata ko kwatancen sauran tsare-tsaren dawo da tabbatarwa. Hakanan baya nuna ko ƙimar amincin da aka ruwaito an daidaita su, ko masu amfani sun fahimce su daidai ko kuma cikakkiyar sarkar tabbatarwa tana ba da tabbacin cewa shaidar da aka ambata tana goyan bayan da'awar da aka samar.

A ƙarshe, takarda ce ta riga-kafi kuma tana gabatar da sakamako daga kimantawar marubutanta. Babu wata shaida a cikin tushen kwafi mai zaman kanta, karɓar samarwa, amincewar tsari ko ingantattun sakamakon kuɗi na zahiri na duniya. Shaida mafi ma'ana ta gaba ita ce gwaji mai zaman kanta tare da sauye-sauye masu sarrafawa zuwa bayanan tushe, nazarin binciken ɗan adam da kimanta ko bayanan tabbatarwa na taimaka wa masu bita su kama abin da ba daidai ba, wanda bai cika ko mahaluki ba.

Jagorori masu alaƙa & tambayoyin tambayoyi