À suivreGuide suivant
Métriques d’évaluation RAG et RAGAS
Technique
GUIDE Technique
Métriques d’évaluation ROUGE et BLEU
ROUGE et BLEU sont les métriques automatiques les plus performantes pour comparer le texte généré par la machine avec des références humaines.
Écoutez ce guideNarré par l'IA · ~2 min
Sur cette page2 minutes de lecture
Aperçu
BLEU was built for translation and leans on precision; ROUGE was built for summarization and leans on recall.
Plongée profonde
Les deux mesures mesurent le chevauchement de n-grammes entre un texte candidat et un ou plusieurs textes de référence, mais elles mettent l'accent sur des directions différentes. BLEU (Bilingual Evaluation Understudy) calcule la précision des n-grammes modifiés (généralement de 1 à 4 grammes), les multiplie géométriquement et applique une pénalité de brièveté afin qu'un système ne puisse pas jouer sur le score en produisant un résultat très court. ROUGE (Recall-Oriented Understudy for Gisting Evaluation) favorise plutôt le rappel : ROUGE-N compte les n-grammes qui se chevauchent, ROUGE-L utilise la sous-séquence commune la plus longue pour récompenser les correspondances dans l'ordre sans nécessiter de contiguïté. BLEU demande : « Dans quelle mesure ce que le système dit est correct ? » tandis que ROUGE demande « quelle quantité de référence le système a-t-il capturé ? ». Les deux sont bon marché et reproductibles, mais ne voient que des chevauchements de mots superficiels, une paraphrase et un sens manquants.
Mise en œuvre dans le monde réel
Des chercheurs en traduction automatique rapportent les scores BLEU sur les critères WMT pour comparer la qualité du système
Les articles de synthèse rapportent ROUGE-1, ROUGE-2 et ROUGE-L sur l'ensemble de données CNN/DailyMail
Une équipe d'ingénieurs suit BLEU dans CI pour détecter les régressions lors du réglage fin d'un modèle de traduction
Un produit de synthèse utilise ROUGE-L comme vérification automatique peu coûteuse avant d'exécuter une évaluation humaine plus coûteuse
L’avenir des paramètres d’évaluation ROUGE et BLEU
Étant donné que les métriques n-gram récompensent les correspondances exactes de mots, elles sous-estiment les paraphrases valides et les réécritures fluides, un problème croissant à mesure que les résultats du LLM divergent lexicalement des références. Des métriques basées sur l'intégration telles que BERTScore et des métriques apprises telles que BLEURT et COMET, ainsi que l'évaluation LLM en tant que juge, les complètent ou les remplacent de plus en plus. Pourtant, ROUGE et BLEU demeurent des lignes de base rapides et transparentes rapportées dans presque tous les articles.
Le mettre en pratique
Pourquoi c'est important
- Coût et budget. Les décisions en matière d'architecture déterminent les performances et les coûts d'exploitation pendant des années.
- Décisions plus claires. La formation technique aide les équipes à choisir la bonne pile, pas seulement la plus récente.
- Contrôle qualité. De meilleurs choix d’ingénierie réduisent les incidents de fiabilité en production.
Attention à
- L’optimisation d’un benchmark peut masquer des faiblesses plus larges du système.
- Les coûts d’infrastructure et de maintenance sont souvent sous-estimés.
- Les lacunes en matière de sécurité et d’observabilité peuvent se creuser à mesure que les systèmes deviennent plus complexes.
Prochaines étapes
- Définissez les objectifs de latence, de qualité et de coût avant la mise en œuvre.
- Benchmark dans des conditions de charge et de données réalistes.
- Surveillance des instruments pour détecter les erreurs, la dérive et l'impact sur l'utilisateur.
- Préparez les chemins de restauration et de réponse aux incidents avant la mise à l’échelle.
Continuez à explorer
Newsletter gratuite
Recevez le briefing quotidien sur l'IA
Trois histoires d'IA vérifiées chaque matin de la semaine, écrites dans un anglais simple. Gratuit pour toujours, sans publicité.
Un e-mail chaque jour de la semaine. Désabonnez-vous en un clic. Nous ne vendons ni ne partageons jamais votre adresse.
Testez-vous
Take the ROUGE and BLEU Evaluation Metrics quiz
Commentaires instantanés sur chaque réponse et un certificat partageable avec une pièce d'identité vérifiable une fois que vous avez réussi un cours.
Soutenez l’enseignement gratuit de l’IA. AI Understanding est une organisation à but non lucratif 501(c)(3) : pas de publicité, pas de paywall, jamais. Faire un don
Questions fréquemment posées
What is ROUGE and BLEU Evaluation Metrics?
ROUGE et BLEU sont les métriques automatiques les plus performantes pour comparer le texte généré par la machine avec des références humaines. BLEU a été conçu pour la traduction et s'appuie sur la précision ; ROUGE a été construit pour la synthèse et s'appuie sur le rappel.
Quelle métrique a été conçue à l’origine pour la traduction automatique et met l’accent sur la précision ?
BLEU a été créé pour la traduction et est basé sur une précision n-gramme modifiée avec une pénalité de brièveté.
Vers quoi ROUGE s’oriente-t-il principalement ?
ROUGE signifie Recall-Oriented Understudy for Gisting Evaluation et souligne la quantité de référence capturée.
Qu'est-ce que la pénalité de brièveté de BLEU empêche ?
La pénalité de brièveté réduit BLEU lorsque le candidat est plus petit que la référence, empêchant les systèmes de gonfler la précision avec une sortie laconique.
Que mesure ROUGE-L ?
ROUGE-L utilise la sous-séquence commune la plus longue, récompensant les correspondances dans l'ordre tout en autorisant les écarts.
Quelle est la principale limite commune de BLEU et de ROUGE ?
Les deux s'appuient sur une correspondance exacte mot/n-gramme, ils sous-évaluent donc les paraphrases valides qui diffèrent lexicalement de la référence.
Continuez à apprendre
Guides associés
Plus de guides sélectionnés pour ce sujet