GUIDE teknik
ROUGE ak BLEU
ROUGE ak BLEU ñooy metrics yiy jëfandikoo masin ngir méngale mbind mi masin defar ak royuwaayi nit.
Déglul tegtal biiIA-nettali · ~2 min
Ci xët wii2 simili jàng
Résumé
BLEU dañu ko tabax ngir tekki làkk, te dafa wéeru ci njub; ROUGE dañu ko tabax ngir resumé ak wéeru ci fàttaliku.
Plongeur bu xóot
Ñari metrics yi dañuy natt n-gram biy jaxasoo ci diggante benn mbindu kàndidaa ak benn wala mbindu royuwaay yu bari, waaye dañuy fësal yoon yu wuute. BLEU (Bilingual Evaluation Understudy) dafay xayma n-gram yuñ soppeeku (1- ba 4-gram), yokk leen ci geometrie, ba noppi jëfandikoo penalti bu gàtt suko defee sistem bi mënul jouer poñ yi ci génne ay génne yu gàtt lool. ROUGE (Njàngat bu lalu ci fàttaliku ngir jàngat Gisting) lu moy loolu dafay bëgg fàttaliku: ROUGE-N dafay lim n-gram yuy jaxasoo, ROUGE-L dafay jëfandikoo subsequence bi gëna gudd ngir neexal match yi ci yoon te soxlawul contiguity. BLEU laaj 'ba ñaata ci li sistem bi wax moo dëggu?' ROUGE laaj 'ban royuwaay la sistem bi jàpp?'. Ñari mbir yooyu yépp yomb nañu te mën nañu leen bindaat waaye dañuy gis baat yu yam yi, ñàkka am paraphrase ak luñuy tekki.
Doxal ci àdduna dëgg
Gëstukat yiy tekki làkku masin dañu joxe poñ yi BLEU am ci WMT benchmarks ngir méngale kalite sistem bi
Këyitu tënk yi dañuy wax ci Rouge-1, Rouge-2, ak Rouge-L ci CNN/DailyMail
Benn ekipu ingenieur dafay topp BLEU ci CI ngir gis régression yi suñuy defar modelu tekki
Produit buy tënk dafay jëfandikoo ROUGE-L ngir saytu otomatik bu yomb balaa muy amal jàngat bu gëna njëg ci nit
Ëlëgu ROUGE ak BLEU
Ndax n-gram metrics yi dañuy neexal baat yi méngoo, dañuy suufeel paraphrase yu baax ak binndaat yu neex, jafe-jafe buy gëna mag ndax LLM yi dañu wuute ci royuwaay yi. Jawriñ yu lalu ci dugal lu melni BERTScore ak jagleel yuñ jàngee lu melni BLEURT ak COMET, boole ci jàngat LLM-ni-àttekat, dañu leen di gëna yokk wala ñu wecci leen. Ba leegi, ROUGE ak BLEU ñu ngi wéy di nekk ay yoon yu gaaw, yu leer yuñ xamle ci këyit bu nekk.
Teg ko ci jëf
Lu tax mu am solo
- Njëgg ak budget. Dogal yi architecture di jël dañuy indi njariñ ak njëgu liggéey bi ay at ci ginaaw.
- dogal yu gëna leer. Njàngalem xarala yi dafay jàppale ekip yi ñu tànn li gën, te baña yam ci li gëna bees daal.
- Xool kalite. Tanneef yu gëna baax ci wàllu ingeñër dina wàññi jafe-jafe yi ci wàllu wóor ci liggéey bi.
Moytul
- Optimize benn benchmark mën na nëbb ñakk kattan yu gëna yaatu ci sistem bi.
- Njëg li ñuy fay ci infrastructure yi ak ci toppatoo dañuy faral di suufeel.
- Bu sistem yi di gëna xawa jafee xam, jafe-jafe yi am ci wàllu kaaraange ak seetlu mën nañu gëna bari.
Jéego yi ci topp
- Mandargal latency, kalite, ak njëg yi laata ngay jëfandikoo.
- Benchmark ci biir sargal ak done yu dëggu.
- Jumtukaay bi di saytu njuumte yi, derive bi ak njeextalu jëfandikukat bi.
- Waajal rollback ak yooni tontu ci jafe-jafe yi laata ngay eskale.
Weyal di banneexu
Bulletin bu amul fayda
Jàngal xibaar AI bu bes
Ñatti jaar-jaari IA yuñ firndeel bis bu nekk ci ayu-bis bi, ñu bind leen ci Àngle bu leer. Gratis ba fàww, amul yëgle.
Benn email bis bu nekk ci ayu-bis bi. Benn klik nga dindi abonemaa bi. Dunu musa jaay wala séddoo sa adres.
Nattal sa bopp
Take the ROUGE and BLEU Evaluation Metrics quiz
Feedback ci saasi ci bépp tontu, ak sertifikaa buñ mëna séddoo ak ID buñ mëna saytu soo jàllee ci njàng mi.
Jàppale njàngum IA te doo fay. AI Understanding mbootaay la buy def te Yàlla tax — amul yëgle, amul paywall, musul am. Defal ab sarax
Laaj yi ñuy faral di laaj
Luy ROUGE ak BLEU ci wàllu jàngat?
ROUGE ak BLEU ñooy metrics yiy jëfandikoo masin ngir méngale mbind mi masin defar ak royuwaayi nit. BLEU dañu ko tabax ngir tekki làkk, te mingi aju ci njub; ROUGE dañu ko tabax ngir tënk mbir yi, ba noppi wéeru ci fàttaliku.
Ban metrik lañu njëkka sos ngir tekki masin te gëna fësal njub?
BLEU dañu ko sos ngir tekki làkk, te dafa sukkandikoo ci n-gram buñ soppeeku ci njubte ak daan bu gàtt.
Lan mooy ROUGE njëkka jublu ci?
ROUGE mooy Recall-Oriented Understudy ngir jàngat Gisting te dafay wane ni ñu jàppee royuwaay bi.
Lan mooy tere penalti bu gàtt bu BLEU?
Daan bu gàtt bi dafay wàññi BLEU sudee kàndidaa bi gëna gàtt ci royuwaay bi, loolu dafay tere sistem yi yokk njub ak génne gu gàtt.
Luy natt ROUGE-L?
ROUGE-L dafay jëfandikoo subsequence bi gëna gudd, di neexal match yi ci yoon, boole ci bàyyi ay bërëb.
Lan mooy li BLEU ak ROUGE bokk?
Ñoom ñaar ñépp a ngi aju ci méngoo baat/n-gram, moo tax dañuy suufeel parafrase yu baax yi wuute ci wàllu kàddu ak royuwaay bi.
Weyal di jàng
Gid yu jëm ci loolu
Tann nañu yeneen njiit ngir topic bii