Xiga xigaHagaha xiga
Qiyaasaha Qiimaynta RAG iyo RAGAS
Farsamo
HAGAHA Farsamada
Qiyaasta Qiimaynta ROUGE iyo BLEU
ROUGE iyo BLEU waa jaangooyooyinka tooska ah ee shaqada ee isbarbardhigga qoraalka mashiinka ka soo horjeeda tixraacyada aadanaha.
Dhageyso hagahanAI-waa laga sheekeeyay · ~2 min
Boggaan2 daqiiqo akhri
Dulmar
BLEU waxaa loo dhisay tarjumaad waxayna ku tiirsan tahay sax; ROUGE waxaa loo dhisay soo koobid waxayna ku tiirsan tahay dib u soo celinta.
quusid qoto dheer
Labada mitirba waxay cabbiraan n-gram isku dhafka u dhexeeya qoraalka musharaxa iyo hal ama in ka badan oo qoraallo tixraac ah, laakiin waxay xoogga saaraan jihooyin kala duwan. BLEU (Afhayeenka Qiimaynta Labada Luqadood) wuxuu xisaabiyaa saxnimada n-gram ee la beddelay (sida caadiga ah 1-ilaa 4-garaam), waxay ku dhufataa joomatari ahaan, waxayna dabaqaysaa ganaax gaaban si nidaamku uusan u ciyaari karin dhibcaha isagoo soo saaraya wax soo saar aad u gaaban. ROUGE (Barashada Dib-u-Celinta Ku Wajahan Qiimaynta Gisting) taa beddelkeeda waxa uu jecel yahay in dib loo yeedho: ROUGE-N waxa ay tirisaa n-gram-yada is-daba-jooga, ROUGE-L waxa ay isticmaashaa ta xigta ee ugu dheer si ay u abaal-marinayso isku-dabaynta isku-dabaynta iyada oo aan loo baahnayn isku-duubni. BLEU waxay waydiisay 'intee in le'eg waxa nidaamku sheegay inay sax yihiin?' halka ROUGE uu waydiinayo 'intee in le'eg tixraaca nidaamku qabsaday?' Labaduba waa raqiis waana la soo saari karaa, laakiin kaliya arag kelmad dusha sare ah oo is dulsaaran, dulucda hadalka iyo macnaha maqan.
Dhaqangelinta Adduunka-dhabta ah
Cilmi-baarayaasha tarjumaadda mishiinka waxay ka warbixiyaan buundooyinka BLEU ee bartilmaameedyada WMT si loo barbardhigo tayada nidaamka
Waraaqaha kooban waxay ka warbixiyaan ROUGE-1, ROUGE-2, iyo ROUGE-L xog-ururinta CNN/DailyMail
Kooxda injineernimada waxay la socdaan BLEU gudaha CI si ay u ogaadaan dib-u-dhacyada marka la hagaajinayo qaabka tarjumaada
Alaabada koobitaanka waxay isticmaashaa ROUGE-L sidii jeeg toos ah oo raqiis ah ka hor inta aan la samayn qiimaynta bini'aadmiga ee qaaliga ah
Mustaqbalka Qiyaasaha Qiimaynta ROUGE iyo BLEU
Sababtoo ah mitirka n-gram waxay abaalmariyaan u dhigma kelmadda saxda ah, waxay qiimeeyaan erayada saxda ah iyo dib u qorida faseexa ah, dhibaatada sii kordheysa maadaama wax soo saarka LLM ay si qaas ah uga duwan yihiin tixraacyada. Isku-xidhka cabbirada ku salaysan sida BERTScore iyo cabbirrada la bartay sida BLEURT iyo COMET, oo lagu daray LLM-sida-qiimaynta, si sii kordheysa u kabo ama u beddelo iyaga. Weli, ROUGE iyo BLEU waxay ku sii socdaan si degdeg ah, saldhigyo hufan oo lagu soo sheegay warqad kasta.
Ku dhaqangelinta
Maxay muhiim u tahay
- Qiimaha iyo miisaaniyada. Go'aamada qaab-dhismeedku waxay horseedaan waxqabadka iyo kharashka hawlgalka sannadaha.
- Go'aamo cad. Waxbarashada farsamada waxay ka caawisaa kooxaha inay doortaan xidhmo sax ah, ma aha oo kaliya kan ugu cusub.
- Xakamaynta tayada. Doorashooyinka injineernimada ee wanaagsan waxay yareeyaan shilalka la isku halleyn karo ee wax soo saarka.
Iska ilaali
- Hagaajinta hal bartilmaameed waxay qarin kartaa daciifnimada nidaamka ballaaran.
- Kaabayaasha dhaqaalaha iyo dayactirka inta badan waa la dhayalsadaa.
- Nabadgelyada iyo daldaloolada u fiirsashada ayaa kori kara marka nidaamyadu noqdaan kuwo aad u adag.
Tallaabooyinka xiga
- Qeex daahida, tayada, iyo bartilmaameedyada qiimaha ka hor inta aan la hirgelin.
- Benchmark marka la eego culeyska dhabta ah iyo xaaladaha xogta.
- La socodka qalabka khaladaadka, leexashada, iyo saamaynta isticmaalaha.
- U diyaari dib-u-noqoshada iyo dariiqyada jawaab-celinta dhacdada ka hor inta aanad miisaan.
Sii wad Sahaminta
Warqad bilaash ah
Hel warbixinta maalinlaha ah ee AI
Saddex sheeko oo la xaqiijiyay oo AI ah maalin kasta oo shaqo ah, oo lagu qoray Ingiriis fudud. Bilaash had iyo jeer, aan xayaysiis lahayn.
Hal iimayl maalin kasta oo shaqo ah. Ka bax hal gujin. Marna ma iibinno ama ma wadaagno ciwaankaaga.
Is tijaabi
Qaado kediska Qiimaynta ROUGE iyo BLEU
Fikrad degdeg ah oo ku saabsan jawaab kasta, iyo shahaado la wadaajin karo oo leh aqoonsi la xaqiijin karo markaad ka gudubto koorso.
Taageer waxbarashada AI bilaashka ah. AI Understanding waa 501(c)(3) aan faa'iido doon ahayn — xayaysiis la'aan, albaab lacag ah ma jiro, had iyo jeer. Samee deeq
Su'aalaha soo noqnoqda
Waa maxay qiyaasta ROUGE iyo BLEU?
ROUGE iyo BLEU waa jaangooyooyinka tooska ah ee shaqada ee isbarbardhigga qoraalka mashiinka ka soo horjeeda tixraacyada aadanaha. BLEU waxaa loo dhisay tarjumaad waxayna ku tiirsan tahay sax; ROUGE waxaa loo dhisay soo koobid waxayna ku tiirsan tahay dib u soo celinta.
Halbeegee ayaa markii hore loogu talagalay turjumaadda mashiinka oo xoogga saaraysa saxnaanta?
BLEU waxaa loo sameeyay tarjumaad waxayna ku saleysan tahay saxnimada n-gram oo wax laga beddelay oo leh ganaax gaaban.
Waa maxay ROUGE ugu horayn u jihaysan?
ROUGE waxay u taagan tahay Undercall-oriented Undercall-oriented Undercall-oriented for Gisting Evaluation wuxuuna xooga saarayaa inta tixraaca la qabtay.
Muxuu ka hortagayaa ciqaabta gaaban ee BLEU?
Ciqaabta gaaban waxay hoos u dhigtaa BLEU marka musharraxa uu ka gaaban yahay tixraaca, joojinta nidaamyada inay si sax ah u kordhiyaan wax soo saarka terse.
Muxuu ROUGE-L cabbiraa?
ROUGE-L waxay isticmaashaa kuwa ugu dheer ee soo socda ee caadiga ah, iyagoo abaal marin si isku xigxiga u siinaya tartamo iyadoo la ogolaanayo nusqaamaha.
Waa maxay xaddidaadda wadaagga muhiimka ah ee BLEU iyo ROUGE labadaba?
Labaduba waxay ku tiirsan yihiin isbarbardhigga kelmadda/n-gram-ka saxda ah, si ay u qiimeeyaan ereyada saxda ah ee ka duwan tixraaca.
Sii wad waxbarashada
Tilmaamaha la xidhiidha
Tilmaamayaal badan ayaa loo doortay mawduucan