Daabacaadda hore waxay soo jeedinaysaa qaab la xisaabin karo oo loogu talagalay falanqaynta LLM ee diiradda saaraysa maaliyadda

Maxaa dhacay

Daabacaad cusub oo arXiv ah ayaa soo bandhigaysa Qaab-dhismeedka Falanqaynta Aqoonta-Driven, hab ku salaysan ontology si loo sameeyo falanqaynta qaabka luqadda weyn ee maaliyadda ganacsiga si sahlan loo xisaabiyo. Nidaamku wuxuu ku xiraa noocyada xiriirka, macluumaadka kalsoonida iyo abtirsiinta ilaha xogta la soo saaray.

Warqadda, oo loo gudbiyay arXiv Agoosto 21, ayaa qeexaysa Qaab-dhismeedka Falanqaynta Aqoonta-Driven, ama KDAF, ee dib-u-soo-celinta-kordhinta jiilka ee maaliyadda ganacsiga. Diiraddeeda la sheegay waa Qorsheynta Maaliyadeed iyo Falanqaynta iyo socodka shaqo ee kale ee la habeeyey halkaas oo isticmaalayaashu ay u baahan yihiin inay caddeeyaan halka ay jawaabtu ka timi xaqiiqda ka dib. Qaab-dhismeedku waxa uu dhisaa nidaam aqooneed oo ay dhaqaajiso ontology iyada oo loo marayo lix marxaladood oo soo noqnoqonaysa oo isticmaala habka dib u soo celinta ee loo yaqaan Faafinta Macnaha Guud-Awareer, ama CARP.

Sida laga soo xigtay xaashida, xaqiiqo kasta oo la soo saaray waxa ay xambaarsan tahay saddex nooc oo macluumaad ah: nooca xidhiidhka, qiimaha kalsoonida iyo isirnimada isha. Ujeeddadu waa in qaab-dhismeedka caddaynta laga dhigo mid cad halkii lagu dawayn lahaa tuducyada la soo saaray sidii daaqad xaaladeed oo aan kala duwanayn. Wargeysku waxa kale oo uu leeyahay qorayaashu waxa ay kaydiyeen habayn, schema ontology, dardargelin, warbixinaha xisaab xidhka iyo qoraallada dib-u-dhiska, in kasta oo isha halkan lagu bixiyey aanay si madaxbannaan u caddaynin agabka ama aanay sifayn isticmaalkeeda.

Qiimayntu waxay adeegsatay 145 su'aalood oo ka yimid FinanceBench waxayna is barbardhigtay KDAF iyada oo la barbardhigtay nuxurka eber, dib u soo celinta BM25, soo celinta qaamuuska fikradeed-miisaanka leh iyo garaaf aan sal lahayn. Wargeysku waxa uu sheegay in natiijada eber-context la gaarey 4.1% sax ah, halka dib u soo celinta xaaladaha la kordhiyey ay gaareen qiyaas ahaan 10% ilaa 12%. Tani waxay taageertaa gabagabada dhuuban ee ah soo saarista cadaymaha inay muhiim u tahay imtixaankan, laakiin ma xaqiijinayso in KDAF ay si balaadhan uga sarayso hawl kasta oo maaliyadeed.

Natiijada ugu weyni waa kala soocida saxnaanta jawaabta iyo xisaabinta. Wargeysku waxa uu sheegay in KDAF iyo BM25 ay ahaayeen kuwo aan xisaabiyan lagu kala saari karin saxnaanta jawaabta, iyada oo la soo sheegay farqiga u dhexeeya -0.007 iyo 95% u dhexeeya kalsoonida laga bilaabo -0.021 ilaa 0.000. Si kastaba ha ahaatee, tixraaca raadinta F1, si kastaba ha ahaatee, KDAF waxay dhalisay 0.515, taas oo dhaaftay marinka aan dhulka lahayn ee 0.027 iyo BM25 0.052, iyada oo muddooyin kalsooni ah ay ka saareen eber. Wargeysku waxa kale oo uu sheegay in 426 shay oo garaaf ku habaysan midna aanu ka iman meel ka baxsan mawduuca su'aasha, marka la barbar dhigo 16.8% iyo 20.2% ee gundhig- lexical, iyo in shay kasta oo la doortay lagu xalliyo silsillad dhammaystiran.

Faahfaahinta isha: arxiv.org ↗

Maxay muhiim u tahay

Waraaqdu waxay ka hadlaysaa caqabad la taaban karo oo ah adeegsiga moodooyinka luqadda ee qorsheynta maaliyadeed iyo falanqaynta iyo socodka shaqo ee kale ee nidaamsan: jawaabtu waxay noqon kartaa mid faseexa ah oo aan la isticmaali karin haddii caddaynteeda aan dib loo dhisi karin. Natiijadu waxay soo jeedinaysaa in hanti-dhawrku uu fiicnaan karo xitaa marka aanay saxnaanta jawaabta

Dhibaatada dhabta ah waa mid ay yaqaanaan ururada tijaabinaya moodooyinka luqadda: nidaamku wuxuu soo saari karaa sharraxaad maaliyadeed oo macquul ah iyada oo aan la siinin hanti-dhawraha waddo la isku halayn karo oo dib loogu celinayo diiwaannada hoose. Shaqada nidaamsan ama dhaqaale ahaan, daciifnimadaasi waxay saamaysaa dib u eegista, sixitaanka khaladka, la xisaabtanka iyo awooda lagu sharaxo sida wax soo saarka loo soo saaray. Sidaa darteed warqaddu waxay ula dhaqantaa raadinta sidii hanti nidaam oo kala duwan halkii ay ka qaadan lahayd in soo celinta ka wanaagsani ay si toos ah uga dhigan tahay jawaabo wanaagsan.

Natiijooyinka la soo sheegay ayaa caqabad ku ah habka gaaban ee qiimaynta. Haddii nidaamyada inta badan la barbar dhigo saxnaanta jawaabta, habka habaysan ee warqaddani si cad uma caddaynayso kakanaanta ay ku kordhisay bartilmaameedka la tijaabiyay. Saxnimadeeda la sheegay waxa ay tirokoob ahaan la mid tahay BM25, oo ah hab ka fudud dib u soo celinta qaamuuska. Faa'iidada la sheegaa waxay ku jirtaa raadraaca caddaynta: ilaalinta cilaaqaadka hay'adaha iyo caddayntu waxay ka dhigi kartaa wax-soo-saarka mid la baari karo xitaa marka aysan ka dhigin inay si dhab ah u saxan yihiin.

Farqigaas ayaa muhiim u ah kooxaha go'aaminaya inta kaabayaal ee lagu dhisayo agagaarka ganacsiga AI. Nidaamka dib u soo celinta ee loogu talagalay caddaynta ayaa laga yaabaa inay ka caawiso dib-u-eegayaashu inay aqoonsadaan isha iyo baaxadda sheegashada, inay ogaadaan caddaynta cidda khaldan iyo dib u dhiska walxaha uu isticmaalo moodeel. Awoodahaasi waxay noqon karaan kuwo qiimo leh xagga maaliyadda, laakiin isha ma tusin in KDAF ay hoos u dhigtay khasaaraha maaliyadeed, xisaab-xidhka oo la gaabiyo, go'aamo la wanaajiyey ama ay gudubtay qiimaynta u hoggaansanaanta rasmiga ah.

Waraaqdu waxay sidoo kale bixisaa digniin faa'iido leh oo ka dhan ah daaweynta soo celinta habaysan ee xal sax ah oo caalami ah. Natiijadeeda taban ayaa sheegaysa in ku-talo-galka ontology-ga uu kasbaday kharashkeeda la soo sheegay ee dhidibka hanti-dhawrka, ee maaha jawaabta saxda ah. Taas oo ka dhigaysa cilmi-baarista mid la xiriirta wax iibsiga iyo go'aamada maamulka: ururadu waxay u baahnaan karaan inay doortaan nidaamyo ku saleysan cawaaqibka wax soo saarka aan la xaqiijin karin, iyagoo si gaar ah u tijaabinaya waxqabadka dhabta ah, caymiska, daahitaanka, shuruudaha dayactirka iyo wadarta kharashka.

Maxaa la daawan doona xiga

Shaqadu waa qiimayn horudhac ah oo uu qoraagu ka warbixiyay, ma aha caddaynta soo saarista wax soo saarka ama aqbalaadda sharciyeynta. Imtixaanka daba-galka ahi waa in uu baaro xog-ururin maaliyadeed oo waaweyn oo kala duwan, beddelka dukumentiyada isha, socodka shaqada ee isticmaalaha dhabta ah, kharashyada hawlgalka iyo haddii hanti-dhawrayaasha bini'aadamku ay si kalsooni leh u isticmaali karaan macluumaadka caddaynta.

Su'aasha degdega ah ayaa ah in faa'iidada raadraaca ee la sheegay ay ka badbaado meel ka baxsan 145-su'aalood ee qiimaynta FinanceBench. Shaqada mustaqbalka waa in ay tijaabiso shirkado badan, xilliyada warbixinta, xaaladaha xisaabaadka, qaababka dukumeentiga iyo noocyada su'aalaha, oo ay ku jiraan su'aalaha ku lug leh hay'adaha madmadow ama diiwaanada aan dhamaystirnayn. Isha ma cadeeyneyso sida KDAF u shaqeyso marka ilo awood leh ay khilaafaan, ku jiraan khaladaad ama isbedel kadib marka jawaabta la soo saaro.

Dhignaashada farshaxanku waxay ka dhigi kartaa shaqada si fudud in dib loo soo saaro, laakiin qiimaheeda la taaban karo ayaan weli laga garanayn meesha la keenay. Ma cadda in qoraallada dib-u-dhisku ay ka socdaan goobo ganacsi oo caadi ah, intee in le'eg ayay tahay dhismaha ontology-ga gacanta ee loo baahan yahay, ama inta jeer ee ay tahay in la cusboonaysiiyo nidaamka aqoonta. Faahfaahintaani waxay go'aamin doontaa in habka uu yahay koontarool la isticmaali karo kooxaha maaliyadda ama badiba nooc cilmi-baaris ah.

Ganacsiga shaqada ayaa sidoo kale u baahan cabbir. Isha ma bixiso kharashyada geynta, wakhtiyada jawaabta, shuruudaha kaydinta, faahfaahinta moodeelka, baahiyaha shaqaaleynta ama isbarbardhigga hababka kale ee ilaalinta-ilaalinta. Sidoo kale ma muujinayso in qiyamka kalsoonida la soo sheegay la jaangooyey, haddii isticmaalayaashu si sax ah u fahmeen ama in silsilad caddayn ah oo dhammaystiran ay dammaanad qaadayso in caddaynta la soo xigtay ay dhab ahaantii taageerto sheegashada la sameeyay.

Ugu dambayntii, warqaddu waa daabacaad waxayna soo bandhigaysaa natiijooyin ka soo baxay qiimaynta qorayaashu. Ma jiro wax caddayn ah oo ku jira isha ku-dabaynta madax-bannaan, korsashada wax-soo-saarka, ansixinta sharciyeed ama natiijooyinka maaliyadeed ee dhabta ah ee adduunka oo la hagaajiyay. Caddaynta soo socota ee ugu macna badan waxay noqonaysaa imtixaan madax-banaan oo isbedel lagu sameeyo xogta isha, daraasaadka hanti dhawrka biniaadmiga iyo qiimaynta in xogta xaqiiqadu ay ka caawiso dib-u-eegayaashu inay qabtaan khalad, aan dhamaystirnayn ama qaab-dhismeed-ku-soo-bandhigidda qaabka.

Tilmaamaha la xidhiidha & su'aalaha