Lu xew
Gëstukat yi dugal nañu FCPRAG, muy benn kaadaru generasioŋ buñ yokk ci seet parametrik, ñu defaree ko ngir boole firnde yu bawoo ci pàcc yu bari yuñ seet ci anam wu gëna tànneef. Këyit dafa wax ni amna yokkute ci RAG buñ miin ak RAG parametrik ci ñeenti done yuy tontu ci laaj ak ñetti xeetu làkk yu yaatu.
Këyit dafay leeral jëmmal parametrik-yokkum generation, wala PRAG, muy anam ngir dugal firnde yiñ jëmmal ci benn xeetu làkk bu yaatu jaaraleko ci paas-specific adaptation bu rang bu woyof, ñu faral di woowe LoRA, adaptatëri. Design bii dafa bëgga wàññi dependence ci def lépp luñu jëlee ci model bi ci biir contexte prompt. Jafe-jafe bi gëna mag mooy su laaj bi defaree ay paas yu bari: sistem bi dafa wara xool ba ñaata la adaptatëru paas bu nekk wara am ci jikkoom bu mujj bi. Sunu sukkandikoo ci këyit wi, boole poñ yu tolloo mën na indi jafe-jafe yu bari ci firnde yu néew doole wala yuy xëccoo.
FCPRAG dafay yokk benn régulatëru fusion bu woyof ngir xayma li bépp paas buñ jëlee ci misaal bu nekk mëna jur. Regulatër bi dafay defar poñ fusion ci paas bu nekk ak ñaari siñaal etalonnage: buntu jaxase ak tàngoor buy méngoo. Ci tegtali bindkat yi, buntu bi dafay may sistem bi mu des ci tànneef sudee siñaal yi ñuy jëlee dañuy joxe leeral, ci noonu la tàngoor wi di def fusion bi gëna am njariñ sudee ñàkka wóor gi gëna rëy. Lii ab mekaniism bu tollu ci misaal la, loolu dafay tekki ni boole bi mën na soppiku joge ci benn laaj dem ci beneen laaj moo gën ñuy wéeru ci benn jekkal bu takku ngir ensemble done yépp. Prosedur taggat bi dafay jëfandikoo surveillance bu xam-xam biy joge ci bépp adaptatër bu am njariñ ci biir benn adaptatër bu bari. Këyit dafa wax ni surveillance bi dañu ko tabax ci ay done yuñ tàggat kese.
Auteur yi dañu wax itam ni benn tàngoor-niveau dataset mooy gëna bon sudee ñàkka wóor gi ci jël gi wuute ci misaal yi, ñu koy wax ni ñàkka wóor gi ci jël gi heteroscedastic. Gis-gis boobu moo waral FCPRAG jëfandikoo etalonnage bu méngoo ak misaal bu nekk. Jangat biñ def dafay wax ci HotpotQA, 2WikiMultiHopQA, PopQA, ak LaajteWeb yu jafee xam, ñeenti tontub laaj ak laajte yu wuute ci seetlu firnde. Ci ñetti yaxu ndigg yu yaatu-model, bindkat yi neena ñu FCPRAG dafay gëna suqali F1 ci kaw RAG ak RAG parametrik. Njariñu li gëna mag mooy 4.65% ci 2WikiMultiHopQA ak 7.55% ci LaajteWeb yu jafee xam. abstract bi itam dafay wax ni njëgu tuning bi dafa gëna néew, ak robustness bu gëna mag ci biir perturbations retrieval, waaye joxewul natt yi ci suuf wala anam yi ñuy jàngat ci balluwaay biñ joxe.
Ay leeral ci cosaan: arxiv.org ↗
Lu tax mu am solo
Liggéey bi dafay wax ci benn ñakk kattan ci sistem yiy dugal ay leeral yuñ jëlee ci adaptëri LoRA yiñ jagleel paas bi: boole ay adaptëri yu bari mën na yokk firnde yu néew doole wala yuy xëccoo. Sudee resultaa yi ñu siiwal ñu ngi weesu jekkal yiñ natt, seytu niveau sample mën na tax sistem IA yi lalu ci seet gëna wóor te baña yéem ci laaj yu gudd wala tuning global bu yaatu.
Jafe-jafe bi FCPRAG di wut dafa am solo ndax kalite retrieval du lenn luy wane tontub model retrieval. Doonte dañu gis ay pàcc yu am njariñ, sistem bi dafa wara boole leen te baña bàyyi firnde yu amul njariñ, yu baaxul wala yu wuute ñoom ñaar ñu ëpp doole. Ci tabb RAG bu yàgg, jafe-jafe bii dafay feeñ ci tabax bu gaaw ak bàyyi xel ci mbind miñ joxe. Ci PRAG, dafay feeñ ci ni ñuy boolee ay adaptatëri passage yu bari. Kontrolëer biñ nara def dafay toxal dogal boobu ci benn wàll buñ jàng bu leer.
Sudee mën nañu baamtu yokkute yiñ wax, anam wi mën na jàppale defarkat yi ñu tabax sistem yuy jëfandikoo ay laaj yu gëna ndaw, boole ci méngale influens firnde yi ak laaj bi. Loolu mën na am njariñ ci jekkal yu am guddaayi contexte, latency, wala njëgu liggéey bi ci saa si. Wàññi giñ wax ci këyit bi ci njëgu tuning mën na nekk lu am solo itam ci ekip yi soxla defar sistemu retrieval ci done yi wala domen yi, ndigam source bi mënul xayma limu sakkanal. Xeetu tontu boobu mën na gëna am solo ci tontub laaj yu bari, ndax tontu bu jaar yoon mingi aju ci boole ay firnde yu bari moo gën ñu tànnee benn pàcc. Gañcax yiñ am ci HotpotQA, 2WikiMultiHopQA, PopQA, ak LaajteWeb yu jaffe dañuy wane ni bindkat yi dañu natt lu ëpp benn anamu seet.
Waaye, benefiis yiñ am ci benchmark waru ñu ko jàppee ni firnde ni anam wi dafay saafara jafe-jafe dëgg wala grounding ci lu ëpp. Better F1 ci kaw done yii taxul ñu wane ni tontu yiñ defar dañuy gëna dëggu ci firnde yiñ jëlee ci jëfandikoo dëgg. Këyit dafay wane itam anam wu gëna yaatu ci sistemu làkk-model: ludul jàppee firnde yiñ jëlee ni ñoom ñaar am nañu solo, model yi mën nañu xayma kalite firnde yi ak ñàkka wóor yi laataa ñu leen di boole. Boobu yoon mën na jàppale jeffin ju gëna moytu sudee seetlu bi leerul. Ci jamano jooju, ab njiit buy joxe poñ yi influens dugal beneen layer decision buñu jàng, bi ci boppam mën nañu ko juum ci kalibre wala jëfandikoo siñaal yiy réerloo nit ñi. Source bi dafay wax robustness ci perturbations retrieval, waaye wanewul ndax contrôleur bi xamna sabab bu dëggu bi ci tontu bi wala dafay yokk performance benchmark agrégat bi.
Mekanism buy weccoo xalaat: naka lay doxee
Saytu xarala yu bees yi ci ginaaw yokkute bii ci anam wu weccoo xalaat.
What is a common training objective for an autoregressive language model?
Li nga wara seetaan ci topp
Firnde gi mingi bawoo ci benn preprint bu arXiv bi bindkat yi joxe ci resultaa yi; source bi joxeewul leeral yi leer ci jàngat bi, njariñu lim yi, disponibilite kode bi, wala firndeg jëfandikoo gi. Yokkuteg xool dafa wara xoolaat ni FCPRAG di doxee ci domen yu wuute, njuumte ci seet, balluwaay yu wuute, ensemble firnde yu gëna gudd, ak xeetu model yu weesu ñatti yax yi ñu natt.
Laaj bi am solo bi ci topp mooy ndax resultaa yi ñu joxe mën nañu mucc ci replication moomel sa bopp. Source biñ joxe ab abstract arXiv la, te waxul limu misaali jàngat yi, configurations baseline yi, diggante wóolu yi, test statistique yi, wala ndax benefiis yi dañuy méngoo ci ñatti yax yi ak ñeenti done yi. Ay detay yooyu dañu am solo ngir mëna jàngat ni yokkute bi yaatoo ak ni ñu ko mëna wóolu. Evaluation dafa wara natt itam anam yu gëna tar ngir am: paas yu wuute, firnde yu ñaar, paas yu bañ wala yu taamu, ñàkka am firnde yu leen di jàppale, ak coppite ci doxalinu paas yi.
Ndax FCPRAG dafay wax luy am solo ci passage bu nekk, jikkoom ci suufu seetlu buy réerloo nit, dina nekk lu am solo. Woykat bi dafa wax ni anam wi dafa am doole ci biir perturbations retrieval, waaye leeralul perturbations yi wala wane ndax robustness dafay wane tanneef bu gëna baax, generation bu gëna conservatif, wala beneen effet. Laajte yi jëm ci jëfandikoo gi ñu ngi ubbeeku. Këyit dafa wax ni régulatër bi yomb na, ba noppi wax ni njëgu tuning bi dafa wàññeeku, waaye source biñ joxe waxul latency inference buñ yokk, jëfandikoo mémoire, njëgu tàggat, wala limu adaptatër yiñ mëna boole bu baax. Waxul itam ndax kode, model yuñ tàggat, wala fichier configuration am nañu ci. Faktër yooyu ñooy wane ndax gis-gis bi amna njariñ ci bitti jàngat yiñ saytu.
Fi may jeexalee mooy gëstukat yi dañu wara xool ndax anam wi ñu koy defee mingi weesu liggéey yi ñu natt ci tontu laaj yi ak model backbones yi. Li am solo buñu xamul mooy performance ci domen yu yam, seet lakk yu bari, xam-xam buy wéy di soppeeku, ensemble passage yu bari lool, ak aplikaasioŋ fu fusion firnde yu jaarul yoon jural ay jafe-jafe yu am solo. Këyit bi nangu nañu ko ci EMNLP 2026, buñu sukkandikoo ci surnaal bi, waaye nangu gi du gëna dëggal bépp wax buñ joxe. Firnde yi am leegi dañuy jàppale FCPRAG ni resultaa gëstu bu am njariñ moo gën ñu jàppee ko ni pexem defar buñ miin.