Me ya faru
Masu bincike sun gabatar da FCPRAG, ƙayyadaddun tsarin ƙirƙira da aka ƙera don haɗa shaida daga wurare da yawa da aka dawo da su da zaɓin zaɓi. Takardar ta ba da rahoton ingantawa akan daidaitattun RAG da madaidaitan ma'auni na RAG a cikin ma'auni na amsa tambayoyi huɗu da ƙasusuwan bayan manyan-harshe uku.
Takardar ta bayyana ƙayyadaddun ƙayyadaddun ƙirƙira, ko PRAG, a matsayin hanyar shigar da shaidar da aka samo a cikin babban tsarin harshe ta hanyar ƙayyadaddun ƙayyadaddun ƙayyadaddun ƙarancin matsayi, wanda ake kira LoRA, adaftar. Wannan ƙira yana nufin rage dogaro ga sanya duk abubuwan da aka dawo dasu kai tsaye zuwa cikin saƙon abin ƙira. Matsala ta tsakiya tana tasowa lokacin da tambaya ta samar da sassa da yawa: dole ne tsarin ya yanke shawarar yawan tasirin kowane adaftan nassi ya kamata ya yi a ƙarni na ƙarshe. A cewar takardar, haɗuwa daidai-da-nauyi na iya ba da tasiri mai yawa ga shaida mara ƙarfi ko sabani.
FCPRAG tana ƙara mai sarrafa fusion mai nauyi don ƙididdige gudummawar kowane sashe da aka samo don kowane samfurin. Mai sarrafawa yana samar da makin fusion na kowane-wuri da sigina na daidaitawa guda biyu: ƙofar haɗuwa da zafin jiki mai daidaitawa. A cikin bayanin mawallafa, ƙofar yana ba da damar tsarin ya kasance mai zaɓi lokacin da siginonin dawo da bayanai ke ba da labari, yayin da zafin jiki ya sa haɗuwa ya zama mai ra'ayin mazan jiya lokacin da rashin tabbas ya fi girma. Wannan na'ura ce ta matakin samfurin, ma'ana haɗin zai iya canzawa daga tambaya ɗaya zuwa wata maimakon dogaro da ƙayyadaddun saiti guda ɗaya don duka saitin bayanai. Tsarin horarwa yana amfani da kulawar haɗakarwa da aka samo daga kowane gudunmawar tazarar adaftar a cikin haɗakar adaftan da yawa. Takardar ta ce an gina wannan kulawa ta amfani da bayanan horo kawai.
Marubutan kuma sun ba da rahoton cewa yanayin matakin saitin bayanai guda ɗaya yana yin muni idan rashin tabbas na dawo da ya bambanta a cikin misalan, waɗanda suka bayyana a matsayin rashin tabbas na dawo da heteroscedastic. Wannan binciken yana motsa daidaitawa, kowane samfurin daidaitawa wanda FCPRAG ke amfani dashi. Ƙimar da aka ruwaito ta ƙunshi HotpotQA, 2WikiMultiHopQA, PopQA, da ComplexWebQuestions, alamomin amsa tambayoyi huɗu tare da buƙatun dawo da shaida daban-daban. A cikin ƙashin bayan manyan-harshe-samfurin guda uku, mawallafa sun ce FCPRAG a koyaushe tana inganta F1 akan daidaitattun RAG da madaidaitan matakan RAG. Mafi girman ribar da aka bayyana shine 4.65% akan 2WikiMultiHopQA da 7.55% akan ComplexWebQuestions. Ƙididdigar ta kuma bayar da rahoton ƙananan farashin daidaitawa da ƙarfin ƙarfi a ƙarƙashin ɓarna na dawowa, amma baya ba da ma'auni na asali ko yanayin gwaji a cikin tushen da aka kawo.
Me ya sa yake da mahimmanci
Ayyukan yana magance rauni mai amfani a cikin tsarin da ke shigar da bayanan da aka samo ta hanyar keɓaɓɓen adaftan LoRA: hada adaftan da yawa na iya ƙara ƙarfi ko shaida mai karo da juna. Idan sakamakon da aka ruwaito ya wuce saitunan da aka gwada, sarrafa matakin-samfurin na iya sa tsarin AI na tushen dawowa ya zama abin dogaro ba tare da dogaro da dogayen faɗakarwa ba ko kuma babban daidaitawar duniya.
Batun mai amfani na FCPRAG yana da mahimmanci saboda ingancin maidowa ba shine kaɗai ke ƙayyade amsar samfurin tushen dawowa ba. Ko da a lokacin da aka samo sassa masu amfani, dole ne tsarin ya haɗa su ba tare da barin shaida maras dacewa, maras inganci, ko rashin daidaituwa na juna ya mamaye ba. A cikin saitin RAG na dogon lokaci na al'ada, wannan matsalar tana bayyana cikin gaggawar ginawa da kulawa akan rubutun da aka kawo. A cikin PRAG, ya bayyana a yadda ake haɗa adaftan nassi da yawa. Mai sarrafawa da aka tsara yana motsa wannan shawarar zuwa ɓangaren koyo bayyane.
Idan haɓakar da aka ruwaito za a iya sake sakewa, hanyar za ta iya taimakawa masu haɓakawa su gina tsarin dawo da su waɗanda ke amfani da ƙarami yayin da suke daidaita tasirin shaida zuwa takamaiman tambaya. Wannan na iya zama da amfani a saituna inda tsayin mahallin, latency, ko aiwatar da farashi mai mahimmanci. Rage rahoton takardar da aka bayar a cikin farashin daidaitawa kuma yana da yuwuwar dacewa ga ƙungiyoyin da ke buƙatar daidaita tsarin dawo da bayanai a cikin bayanan bayanai ko yanki, kodayake tushen ba ya ƙididdige tanadin. Hanyar na iya zama da mahimmanci musamman ga amsa tambayoyin da yawa, inda amsa daidai zai iya dogara akan haɗa nau'ikan shaida da yawa maimakon zaɓar nassi guda ɗaya. Ribar da aka ruwaito akan HotpotQA, 2WikiMultiHopQA, PopQA, da ComplexWebQuestions sun nuna cewa marubutan sun gwada tsarin dawo da fiye da ɗaya.
Koyaya, bai kamata a yi la'akari da nasarorin ma'auni a matsayin hujja cewa hanyar tana warware gaskiyar gaskiya ko kuma warware matsalolin gabaɗaya ba. Mafi kyawun F1 akan waɗannan ma'ajin bayanai baya tabbatar da cewa amsoshi da aka ƙirƙiro suna ci gaba da aminci ga dawo da shaida a cikin turawa na gaske. Takardar ta kuma kwatanta jagorar ƙira mai faɗi a cikin tsarin ƙirar harshe: maimakon ɗaukar shaidar da aka dawo da ita a matsayin mai tamani daidai, ƙila za su iya kimanta ingancin shaida da rashin tabbas kafin haɗa ta. Wannan jagorar na iya tallafawa ƙarin ɗabi'a na taka tsantsan lokacin da dawo da ita ba ta da tabbas. A lokaci guda, mai sarrafawa wanda ke ba da sakamako mai tasiri yana gabatar da wani matakin yanke shawara da aka koya, wanda kansa zai iya yin kuskure ko yin amfani da siginonin dawo da ɓarna. Majiyar ta ba da rahoton ƙarfi don dawo da ɓarna, amma baya nuna ko mai sarrafawa ya gano ainihin dalilin amsa ko kuma yana inganta jimlar aikin ma'auni kawai.
Ingantacciyar hanyar sadarwa: Yadda A zahiri yake Aiki
Bincika fasahar da ke bayan wannan ci gaban ta hanyar mu'amala.
What is a common training objective for an autoregressive language model?
Abin kallo na gaba
Shaidar ta fito ne daga bugu na arXiv wanda mawallafansa suka ba da rahoton sakamako mai ma'ana; tushen ba ya samar da cikakkun bayanan gwaji, mahimmancin ƙididdiga, samun lambar, ko shaidar ƙaddamarwa. Ya kamata ƙarin bincike ya bincika yadda FCPRAG ke aiki akan yankuna daban-daban, gazawar dawo da su, maɓuɓɓuka masu cin karo da juna, saiti masu tsayi, da samfura fiye da ƙasusuwan baya uku da aka gwada.
Tambaya mai mahimmanci ta gaba ita ce ko sakamakon da aka ruwaito ya tsira da kwafi mai zaman kansa. Madogarar da aka kawo ita ce ta arXiv, kuma baya bayyana adadin misalan kimantawa, madaidaicin jeri na tushe, tazarar amincewa, gwaje-gwajen ƙididdiga, ko kuma ko ribar da aka samu sun yi daidai da duk ƙasusuwan baya uku da duk bayanan bayanai guda huɗu. Waɗannan cikakkun bayanai suna da mahimmanci don yin la'akari da girman girman abin dogaro da haɓaka. Hakanan ya kamata kimantawa ta gwada yanayi mai tsauri: saɓani masu cin karo da juna, shaidun da aka kwafi, ɓangarorin gaba ko gurɓatattun wurare, ɓacewar hujjoji masu goyan baya, da canje-canje a cikin tsari.
Saboda FCPRAG yana hasashen yawan tasirin kowane sashe ya kamata ya samu, halayenta a ƙarƙashin dawo da yaudarar da gangan zai zama mai ba da labari musamman. Majiyar ta ce hanyar tana da ƙarfi a ƙarƙashin ɓarna na dawo da ita, amma ba ta ayyana ɓarna ko nuna ko ƙarfin yana nuna mafi kyawun zaɓin shaida, ƙarin tsarar ra'ayin mazan jiya, ko wani tasiri. Tambayoyin tura aiki na aiki sun kasance a buɗe. Takardar ta kira mai kula da nauyi kuma ta ba da rahoton rage farashin daidaitawa, amma tushen da aka kawo ba ta bayyana ƙarin jinkiri ba, amfani da ƙwaƙwalwar ajiya, farashin horo, ko adadin adaftan da za'a iya haɗawa da kyau. Har ila yau, ba ya faɗi ko akwai lamba, ƙirar ƙira, ko fayilolin daidaitawa. Wadannan abubuwan zasu tantance ko tsarin yana da amfani a wajen gwaje-gwajen ma'auni masu sarrafawa.
A ƙarshe, masu bincike ya kamata su bincika ko hanyar ta wuce fiye da ayyukan amsa tambayoyin da aka gwada da samfurin kashin baya. Muhimman abubuwan da ba a san su ba sun haɗa da aiki akan yankuna na musamman, dawo da yaruka da yawa, ci gaba da canza ilimi, manyan saiti, da aikace-aikace inda haɗakar shaidar da ba ta dace ba tana ɗaukar sakamako mai yawa. Ana karɓar takardar zuwa EMNLP 2026, bisa ga majiyar, amma yarda ba ta inganta kowane da'awar da aka bayar da kanta ba. Shaidar ta yanzu tana goyan bayan kula da FCPRAG azaman sakamakon bincike mai ban sha'awa maimakon ingantacciyar dabarar samarwa.