VolgendeVolgende gids
ROUGE- en BLEU-evaluatiestatistieken
Technisch
Technische GIDS
BERTScore meet hoe goed machinaal gegenereerde tekst overeenkomt met een referentie door de betekenis te vergelijken, en niet de exacte woorden.
Luister naar deze gidsAI-verteld · ~2 min
Het lost een kernblinde vlek op van oudere statistieken die geldige parafrases bestraffen.
BERTScore evalueert de gegenereerde tekst (vertalingen, samenvattingen, bijschriften) door elk token in te sluiten met een contextueel model zoals BERT of RoBERTa, en vervolgens kandidaat-tokens te matchen met referentietokens op basis van cosinus-overeenkomst. Oudere statistieken zoals BLEU en ROUGE tellen overlappende n-grammen, dus 'de kat ligt op de mat' en 'een kat zit bovenop het tapijt' scoren bijna nul, ondanks een identieke betekenis. BERTScore berekent in plaats daarvan hebzuchtige tokenmatching en voegt deze vervolgens samen in precisie, herinnering en F1. Omdat inbedding contextueel is, krijgt hetzelfde woord in verschillende zinnen verschillende vectoren, waardoor nuance wordt vastgelegd. Het correleert veel beter met menselijke kwaliteitsoordelen, vooral voor vloeiende parafrases. Daarom werd het na de introductie in 2019 een standaard hulpmiddel voor semantische evaluatie.
Het scoren van machinevertaalsystemen waarbij geldige bewoordingen variëren, zodat BLEU correcte parafrases ten onrechte bestraft
Het evalueren van abstracte samenvattingen die de broninhoud in nieuwe woorden herhalen in plaats van zinnen te kopiëren
Benchmarking van modellen voor ondertiteling van afbeeldingen waarbij veel vloeiende bijschriften hetzelfde beeld beschrijven
Het vergelijken van chatbot- of QA-reacties met gouden antwoorden wanneer de formulering verschilt maar de betekenis identiek is
Semantische evaluatie verschuift naar geleerde en op LLM gebaseerde rechters die feitelijkheid, samenhang en behulpzaamheid beoordelen die verder gaat dan symbolische gelijkenis. BERTScore blijft een snelle, reproduceerbare basislijn, maar nieuwere benaderingen zoals BLEURT, COMET en 'LLM-als-rechter'-beoordeling vangen kwaliteiten op die BERTScore mist, zoals hallucinerende feiten. Verwacht hybride pijplijnen: goedkope inbeddingsstatistieken voor grootschalige screening, waarbij duurdere, op modellen gebaseerde juryleden gereserveerd zijn voor de uiteindelijke evaluatie met hoge inzet.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
BERTScore meet hoe goed machinaal gegenereerde tekst overeenkomt met een referentie door de betekenis te vergelijken, en niet de exacte woorden. Het lost een kernblinde vlek op van oudere statistieken die geldige parafrases bestraffen.
BLEU en ROUGE tellen n-gram overlap, dus betekenisbehoudende parafrases met verschillende woorden scoren slecht, zelfs als ze correct zijn.
BERTScore sluit tokens in met een model zoals BERT en vergelijkt ze met behulp van cosinus-overeenkomst in vectorruimte.
Contextuele modellen produceren verschillende inbeddingen voor hetzelfde woord in verschillende contexten, waardoor betekenisnuances worden vastgelegd.
BERTScore verzamelt tokenmatching in precisie, herinnering en een gecombineerde F1-score.
Omgekeerde documentfrequentie vermindert de invloed van veel voorkomende woorden als 'de', die weinig betekenis hebben.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
ROUGE- en BLEU-evaluatiestatistieken
Technisch