Κουίζ μετρήσεων αξιολόγησης ROUGE και BLEU

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

1. Ποια μέτρηση σχεδιάστηκε αρχικά για αυτόματη μετάφραση και δίνει έμφαση στην ακρίβεια;
   • BLEU
   • ΡΟΖ
   • BERTScore
   • Μόνο F1
2. Σε τι είναι πρωτίστως προσανατολισμένο το ROUGE;
   • Ακρίβεια
   • Ανάκληση
   • Καθυστέρηση
   • Μέγεθος μοντέλου
3. Τι αποτρέπει η ποινή συντομίας του BLEU;
   • Παράγοντας υπερβολικά μεγάλες εξόδους
   • Χρησιμοποιώντας σπάνιες λέξεις
   • Παίξτε το σκορ με πολύ σύντομες εξόδους
   • Επαναλαμβάνοντας την ίδια λέξη
4. Τι μετράει το ROUGE-L;
   • Ο αριθμός των γραμμάτων στην έξοδο
   • Η καθυστέρηση σε χιλιοστά του δευτερολέπτου
   • Το μεγαλύτερο ποσοστό μάθησης που χρησιμοποιήθηκε
   • Η μεγαλύτερη κοινή υποακολουθία μεταξύ υποψηφίου και αναφοράς
5. Ποιος είναι ο βασικός κοινός περιορισμός τόσο του BLEU όσο και του ROUGE;
   • Μετρούν μόνο την επικάλυψη επιφανειών n-gram και χάνουν παράφραση ή νόημα
   • Απαιτούν GPU για τον υπολογισμό
   • Δεν μπορούν να χειριστούν αγγλικό κείμενο
   • Δεν χρειάζονται κείμενο αναφοράς
6. Πώς το BLEU εμποδίζει ένα σύστημα να παίξει το σκορ επαναλαμβάνοντας ένα n-gram υψηλής συχνότητας;
   • Αγνοεί όλες τις επαναλαμβανόμενες λέξεις
   • Κλιπ κάθε υποψήφια μέτρηση n-γραμμαρίων στη μέγιστη μέτρησή του στις αναφορές
   • Μετράει μόνο την πρώτη πρόταση
   • Τιμωρεί κάθε επανάληψη στο μηδέν
7. When does BLEU’s brevity penalty reduce a candidate’s score?
   • When the candidate includes a unigram match
   • When the reference contains more than four words
   • When the candidate is shorter than the reference length
   • When the candidate uses a paraphrase
8. Why does BLEU take a geometric mean across n-gram precisions?
   • It converts precision into a confidence interval
   • It guarantees semantic equivalence
   • It removes the need for reference text
   • A low score at one n-gram order can substantially lower the combined score