LegközelebbKövetkező útmutató
RAG értékelési metrikák és RAGAS
Műszaki
Műszaki ÚTMUTATÓ
A ROUGE és a BLEU az automata mérőszámok a gép által generált szövegek emberi hivatkozásokkal való összehasonlítására.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
BLEU was built for translation and leans on precision; ROUGE was built for summarization and leans on recall.
Mindkét mérőszám n-grammos átfedést mér a jelölt szöveg és egy vagy több referenciaszöveg között, de különböző irányokat hangsúlyoznak. A BLEU (Bilingual Evaluation Understudy) módosított n-gramos pontossággal számítja ki (általában 1-4 gramm), geometriailag megszorozza azokat, és rövidségi büntetést alkalmaz, így a rendszer nem tudja kijátszani a pontszámot nagyon rövid kimenettel. A ROUGE (Recall-Oriented Understudy for Gisting Evaluation) ehelyett a felidézést részesíti előnyben: a ROUGE-N átfedő n-grammokat számol, a ROUGE-L pedig a leghosszabb közös részsorozatot használja a sorrendben lévő egyezések jutalmazására, anélkül, hogy szomszédosságot igényelne. A BLEU megkérdezi, hogy a rendszer által elmondottakból mennyi igaz? miközben a ROUGE azt kérdezi, hogy 'mennyit rögzített a rendszer a hivatkozásból?'. Mindkettő olcsó és reprodukálható, de csak a szavak felszíni átfedését látják, hiányzik a parafrázis és a jelentés.
A gépi fordítással foglalkozó kutatók a BLEU pontszámairól számolnak be a WMT benchmarkokon, hogy összehasonlítsák a rendszer minőségét
Az összefoglaló dokumentumok a ROUGE-1, ROUGE-2 és ROUGE-L jelentését a CNN/DailyMail adatkészleten
Egy mérnökcsapat nyomon követi a BLEU-t a CI-ben, hogy észlelje a regressziókat a fordítási modell finomhangolása során
Az összefoglaló termék a ROUGE-L-t olcsó automatikus ellenőrzésként használja, mielőtt költségesebb emberi értékelést végezne
Mivel az n-gramos metrikák a pontos szóegyezéseket díjazzák, alulértékelik az érvényes parafrázisokat és a gördülékeny átírásokat, ami egyre nagyobb probléma, mivel az LLM-kimenetek lexikálisan eltérnek a hivatkozásoktól. A BERTScore és a tanult mérőszámok, például a BLEURT és a COMET, valamint az LLM-as-Judge értékelés beágyazása egyre inkább kiegészíti vagy helyettesíti ezeket. Ennek ellenére a ROUGE és a BLEU továbbra is gyors, átlátható kiindulópontként szerepel szinte minden lapban.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A ROUGE és a BLEU az automata mérőszámok a gép által generált szövegek emberi hivatkozásokkal való összehasonlítására. A BLEU fordításra készült, és a pontosságra támaszkodik; A ROUGE összegzésre készült, és a felidézésre támaszkodik.
A BLEU-t fordításra hozták létre, és módosított n-gramos pontosságon alapul, rövidségi büntetéssel.
A ROUGE a Recall-Oriented Understudy for Gisting Evaluation rövidítése, és hangsúlyozza, hogy a hivatkozás mekkora részét rögzíti.
A rövidségi büntetés csökkenti a BLEU-t, ha a jelölt rövidebb, mint a referencia, és megakadályozza, hogy a rendszer tömör kimenettel növelje a pontosságot.
A ROUGE-L a leghosszabb közös alszekvenciát használja, jutalmazza a sorrendben lévő egyezéseket, miközben hagyja a hézagokat.
Mindkettő a pontos szó/n-gram egyezésre támaszkodik, ezért alulértékeli azokat az érvényes parafrázisokat, amelyek lexikálisan különböznek a hivatkozástól.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
RAG értékelési metrikák és RAGAS
Műszaki