Quiz lié à un guide · Moyen Niveau

Quiz sur les mesures d'évaluation de ROUGE et BLEU

Vérifie la précision et l'écrêtage de BLEU, le rappel de ROUGE et le chevauchement de séquences, et pourquoi les métriques n-grammes manquent de paraphrases sémantiquement valides.

Chemins de guidage associésParamètres d'évaluation des Rouge Et Bleu
Question 1 de 8

Quelle métrique a été conçue à l’origine pour la traduction automatique et met l’accent sur la précision ?

Prévisualisez chaque question8 des questions

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

  1. Quelle métrique a été conçue à l’origine pour la traduction automatique et met l’accent sur la précision ?
    • BLEU
    • ROUGE
    • BERTcore
    • F1 uniquement
  2. Vers quoi ROUGE s’oriente-t-il principalement ?
    • Précision
    • Rappel
    • Latence
    • Taille du modèle
  3. Qu'est-ce que la pénalité de brièveté de BLEU empêche ?
    • Produire des sorties trop longues
    • Utiliser des mots rares
    • Jouer la partition avec des sorties très courtes
    • Répéter le même mot
  4. Que mesure ROUGE-L ?
    • Le nombre de lettres dans la sortie
    • Latence en millisecondes
    • Le plus grand taux d'apprentissage utilisé
    • La plus longue sous-séquence commune entre le candidat et la référence
  5. Quelle est la principale limite commune de BLEU et de ROUGE ?
    • Ils mesurent uniquement le chevauchement de n-grammes de surface et manquent de paraphrase ou de signification
    • Ils nécessitent des GPU pour calculer
    • Ils ne peuvent pas gérer le texte anglais
    • Ils n'ont pas besoin de texte de référence
  6. Comment BLEU empêche-t-il un système de jouer sur le score en répétant un n-gramme à haute fréquence ?
    • Il ignore tous les mots répétés
    • Il coupe chaque nombre de n-grammes candidats à son nombre maximum dans les références
    • Ça ne compte que la première phrase
    • Il pénalise à zéro toute répétition
  7. When does BLEU’s brevity penalty reduce a candidate’s score?
    • When the candidate includes a unigram match
    • When the reference contains more than four words
    • When the candidate is shorter than the reference length
    • When the candidate uses a paraphrase
  8. Why does BLEU take a geometric mean across n-gram precisions?
    • It converts precision into a confidence interval
    • It guarantees semantic equivalence
    • It removes the need for reference text
    • A low score at one n-gram order can substantially lower the combined score