VolgendeVolgende gids
RAG-evaluatiestatistieken en RAGAS
Technisch
Technische GIDS
ROUGE en BLEU zijn de automatische meetinstrumenten voor het vergelijken van door machines gegenereerde tekst met menselijke referenties.
Luister naar deze gidsAI-verteld · ~2 min
BLEU is gebouwd voor vertalingen en leunt op precisie; ROUGE is gebouwd voor samenvatting en leunt op herinnering.
Beide metrieken meten de n-gram overlap tussen een kandidaattekst en een of meer referentieteksten, maar benadrukken verschillende richtingen. BLEU (Bilingual Evaluation Understudy) berekent de gewijzigde n-gramprecisie (meestal 1 tot en met 4 gram), vermenigvuldigt deze geometrisch en past een beknoptheidsstraf toe, zodat een systeem de score niet kan bespelen door een zeer korte output te produceren. ROUGE (Recall-Oriented Understudy for Gisting Evaluation) geeft in plaats daarvan de voorkeur aan terugroepen: ROUGE-N telt overlappende n-grammen, ROUGE-L gebruikt de langste gemeenschappelijke subreeks om overeenkomsten in de juiste volgorde te belonen zonder dat contiguïteit vereist is. BLEU vraagt: 'Hoeveel van wat het systeem zegt klopt?' terwijl ROUGE vraagt: 'Hoeveel van de referentie heeft het systeem vastgelegd?'. Beide zijn goedkoop en reproduceerbaar, maar zien alleen oppervlakkige woordoverlap, waarbij parafrase en betekenis ontbreken.
Onderzoekers op het gebied van machinevertaling rapporteren BLEU-scores op WMT-benchmarks om de systeemkwaliteit te vergelijken
Samenvattende artikelen rapporteren ROUGE-1, ROUGE-2 en ROUGE-L op de CNN/DailyMail-dataset
Een technisch team volgt BLEU in CI om regressies te detecteren bij het verfijnen van een vertaalmodel
Een samenvattingsproduct gebruikt ROUGE-L als een goedkope automatische controle voordat een duurdere menselijke evaluatie wordt uitgevoerd
Omdat n-gram-metrieken exacte woordovereenkomsten belonen, onderschatten ze geldige parafrases en vloeiende herschrijvingen, een groeiend probleem omdat LLM-uitvoer lexicaal afwijkt van referenties. Op inbedding gebaseerde statistieken zoals BERTScore en aangeleerde statistieken zoals BLEURT en COMET, plus LLM-als-judge-evaluatie, vullen deze steeds meer aan of vervangen deze. Toch blijven ROUGE en BLEU bestaan als snelle, transparante basislijnen die in bijna elk artikel worden vermeld.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
ROUGE en BLEU zijn de automatische meetinstrumenten voor het vergelijken van door machines gegenereerde tekst met menselijke referenties. BLEU is gebouwd voor vertalingen en leunt op precisie; ROUGE is gebouwd voor samenvatting en leunt op herinnering.
BLEU is gemaakt voor vertaling en is gebaseerd op gewijzigde n-gramprecisie met een beknoptheidsboete.
ROUGE staat voor Recall-Oriented Understudy for Gisting Evaluation en benadrukt hoeveel van de referentie wordt vastgelegd.
De beknoptheidsboete verlaagt de BLEU wanneer de kandidaat korter is dan de referentie, waardoor systemen de precisie niet kunnen opblazen met beknopte output.
ROUGE-L gebruikt de langste gemeenschappelijke deelreeks, waarbij wedstrijden in de juiste volgorde worden beloond en gaten worden toegestaan.
Beide zijn afhankelijk van exacte woord/n-gram-matching, dus onderschatten ze geldige parafrases die lexicaal verschillen van de referentie.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
RAG-evaluatiestatistieken en RAGAS
Technisch