InayofuataMwongozo unaofuata
Vipimo vya Tathmini ya RAG na RAGAS
Kiufundi
MWONGOZO wa Kiufundi
Vipimo vya Tathmini vya ROUGE na BLEU
ROUGE na BLEU ni metriki za kiotomatiki za kulinganisha maandishi yanayozalishwa na mashine dhidi ya marejeleo ya wanadamu.
Sikiliza mwongozo huuInaonyeshwa na AI · ~2 min
Katika ukurasa huudk 2 kusoma
Muhtasari
BLEU was built for translation and leans on precision; ROUGE was built for summarization and leans on recall.
Dive ya kina
Vipimo vyote viwili hupima mwingiliano wa n-gram kati ya maandishi ya mteuliwa na matini moja ya marejeleo, lakini vinasisitiza mwelekeo tofauti. BLEU (Bilingual Evaluation Understudy) hukokotoa usahihi wa n-gram uliorekebishwa (kawaida 1- hadi 4-gramu), huzizidisha kijiometri, na kutumia adhabu ya ufupi ili mfumo usiweze kucheza alama kwa kutoa matokeo fupi sana. ROUGE (Mwanafunzi Anayeelekezwa Kukumbuka kwa Tathmini ya Gisting) badala yake anapendelea kukumbuka: Hesabu za ROUGE-N zinazopishana n-gramu, ROUGE-L hutumia mfuatano mrefu zaidi wa kawaida ili zawadi ya mechi za kuagiza bila kuhitaji utengamano. BLEU inauliza 'ni kiasi gani cha yale ambayo mfumo umesema ni sahihi?' huku ROUGE akiuliza 'mfumo ulichukua kumbukumbu ngapi?'. Zote mbili ni za bei nafuu na zinaweza kuzaliana lakini huona tu mwingiliano wa maneno, kukosa vifungu vya maneno na maana.
Utekelezaji wa Ulimwengu Halisi
Watafiti wa utafsiri wa mashine huripoti alama za BLEU kwenye vigezo vya WMT ili kulinganisha ubora wa mfumo
Karatasi za muhtasari zinaripoti ROUGE-1, ROUGE-2, na ROUGE-L kwenye seti ya data ya CNN/DailyMail
Timu ya wahandisi hufuata BLEU katika CI ili kugundua kurudi nyuma wakati wa kurekebisha muundo wa tafsiri
Bidhaa ya muhtasari hutumia ROUGE-L kama hundi ya bei nafuu ya kiotomatiki kabla ya kufanya tathmini ya gharama ya juu zaidi ya binadamu
Mustakabali wa Vipimo vya Tathmini vya ROUGE na BLEU
Kwa sababu metriki za n-gram hulipa ulinganifu kamili wa maneno, hazithamini vifungu vya maneno halali na kuandika upya kwa ufasaha, tatizo linaloongezeka kwani matokeo ya LLM hutofautiana kimsamiati na marejeleo. Vipimo vinavyopachikwa kama vile BERTScore na vipimo vilivyofunzwa kama vile BLEURT na COMET, pamoja na tathmini ya LLM-as-judge, inazidi kuziongeza au kuzibadilisha. Bado, ROUGE na BLEU zinaendelea kwa haraka, misingi ya uwazi inayoripotiwa katika karibu kila karatasi.
Kuiweka katika vitendo
Kwa nini ni muhimu
- Gharama na bajeti. Maamuzi ya usanifu huendesha utendaji na gharama ya uendeshaji kwa miaka.
- Maamuzi ya wazi zaidi. Elimu ya kiufundi husaidia timu kuchagua safu sahihi, sio tu mpya zaidi.
- Udhibiti wa ubora. Chaguo bora za uhandisi hupunguza matukio ya kuaminika katika uzalishaji.
Jihadharini na
- Kuboresha kiwango kimoja kunaweza kuficha udhaifu mkubwa wa mfumo.
- Gharama za miundombinu na matengenezo mara nyingi hupunguzwa.
- Mapengo ya usalama na uonekanaji yanaweza kukua kadiri mifumo inavyozidi kuwa ngumu.
Hatua zinazofuata
- Bainisha muda, ubora na malengo ya gharama kabla ya utekelezaji.
- Benchmark chini ya mzigo halisi na hali ya data.
- Ufuatiliaji wa ala kwa makosa, kuteleza, na athari za mtumiaji.
- Tayarisha njia za urejeshaji na majibu ya matukio kabla ya kuongeza ukubwa.
Endelea Kuchunguza
Jarida halali
Pata taarifa ya kila siku ya AI
Hadithi tatu za AI zilizothibitishwa kila asubuhi ya wiki, zimetengenezwa kwa Kiingereza rahisi. Bila malipo daima, hakuna matangazo.
Barua pepe moja kila siku ya wiki. Jiondoe kwa bonyeza moja. Hatutauza au kushiriki anwani yako.
Jijaribu mwenyewe
Take the ROUGE and BLEU Evaluation Metrics quiz
Maoni ya haraka juu ya kila jibu, na cheti kinachoweza kushirikishwa na kitambulisho kinachoweza kuthibitishwa baada ya kupita kozi.
Changia elimu ya AI bila malipo. AI Understanding ni 501(c)(3) isiyo na faida — hakuna matangazo, hakuna kizuizi cha malipo, daima. Toa mchango
Maswali yanayoulizwa mara kwa mara
What is ROUGE and BLEU Evaluation Metrics?
ROUGE na BLEU ni metriki za kiotomatiki za kulinganisha maandishi yanayozalishwa na mashine dhidi ya marejeleo ya wanadamu. BLEU ilijengwa kwa tafsiri na hutegemea usahihi; ROUGE iliundwa kwa muhtasari na inategemea kukumbuka.
Ni kipimo gani kiliundwa kwa ajili ya tafsiri ya mashine na kinasisitiza usahihi?
BLEU iliundwa kwa tafsiri na inategemea usahihi wa n-gram uliorekebishwa kwa adhabu ya ufupi.
ROUGE inaelekezwa nini hasa?
ROUGE inawakilisha Recall-Oriented Understudy for Gisting Evaluation na inasisitiza ni kiasi gani cha marejeleo kimenaswa.
Je, adhabu ya ufupi ya BLEU inazuia nini?
Adhabu ya ufupi hupunguza BLEU wakati mgombeaji ni mfupi kuliko marejeleo, na hivyo kuzuia mifumo kutoka kwa usahihi wa kuinua kwa matokeo machache.
ROUGE-L inapima nini?
ROUGE-L hutumia mfuatano mrefu zaidi wa kawaida, unaoleta matokeo ya mechi za mpangilio huku ikiruhusu mapungufu.
Ni kikomo gani muhimu kilichoshirikiwa cha BLEU na ROUGE?
Zote zinategemea ulinganifu kamili wa neno/n-gram, kwa hivyo huthamini vifungu vya maneno halali ambavyo hutofautiana kimsamiati na marejeleo.
Endelea kujifunza
Miongozo inayohusiana
Miongozo zaidi imechaguliwa kwa mada hii