ΕπόμενοΕπόμενος οδηγός
RAG Evaluation Metrics και RAGAS
Τεχνικά
Τεχνικός ΟΔΗΓΟΣ
Μετρήσεις αξιολόγησης ROUGE και BLEU
Το ROUGE και το BLEU είναι οι αυτόματες μετρήσεις για τη σύγκριση κειμένου που δημιουργείται από μηχανή με ανθρώπινες αναφορές.
Ακούστε αυτόν τον οδηγόαφήγηση με AI · ~2 min
Σε αυτήν τη σελίδα2 λεπτά ανάγνωση
Επισκόπηση
Το BLEU κατασκευάστηκε για μετάφραση και βασίζεται στην ακρίβεια. Το ROUGE κατασκευάστηκε για σύνοψη και βασίζεται στην ανάκληση.
Βαθιά κατάδυση
Και οι δύο μετρήσεις μετρούν την επικάλυψη n-gram μεταξύ ενός υποψηφίου κειμένου και ενός ή περισσότερων κειμένων αναφοράς, αλλά τονίζουν διαφορετικές κατευθύνσεις. Το BLEU (Bilingual Evaluation Understudy) υπολογίζει τροποποιημένη ακρίβεια n-gram (συνήθως από 1 έως 4 γραμμάρια), τα πολλαπλασιάζει γεωμετρικά και εφαρμόζει ποινή συντομίας, ώστε ένα σύστημα να μην μπορεί να παίξει τη βαθμολογία παράγοντας πολύ σύντομη έξοδο. Το ROUGE (Recall-Oriented Understudy for Gisting Evaluation) αντ' αυτού ευνοεί την ανάκληση: Το ROUGE-N μετράει επικαλυπτόμενα n-γραμμάρια, το ROUGE-L χρησιμοποιεί τη μεγαλύτερη κοινή υποακολουθία για να ανταμείψει τους αγώνες κατά σειρά χωρίς να απαιτείται γειτνίαση. Το BLEU ρωτά "πόσο από αυτά που είπε το σύστημα είναι σωστά;" ενώ το ROUGE ρωτά «πόσο μέρος της αναφοράς κατέγραψε το σύστημα;». Και οι δύο είναι φθηνές και αναπαραγώγιμες, αλλά βλέπουν μόνο επικάλυψη λέξεων στην επιφάνεια, χωρίς παράφραση και νόημα.
Υλοποίηση σε πραγματικό κόσμο
Οι ερευνητές μηχανικής μετάφρασης αναφέρουν βαθμολογίες BLEU στα σημεία αναφοράς WMT για να συγκρίνουν την ποιότητα του συστήματος
Τα έγγραφα περίληψης αναφέρουν τα ROUGE-1, ROUGE-2 και ROUGE-L στο σύνολο δεδομένων CNN/DailyMail
Μια ομάδα μηχανικών παρακολουθεί το BLEU σε CI για να ανιχνεύσει παλινδρομήσεις κατά τη λεπτομερή ρύθμιση ενός μοντέλου μετάφρασης
Ένα προϊόν σύνοψης χρησιμοποιεί το ROUGE-L ως έναν φθηνό αυτόματο έλεγχο πριν εκτελέσει ακριβότερη ανθρώπινη αξιολόγηση
Το μέλλον των μετρήσεων αξιολόγησης ROUGE και BLEU
Επειδή οι μετρήσεις n-gram ανταμείβουν τις ακριβείς αντιστοιχίσεις λέξεων, υποτιμούν τις έγκυρες παραφράσεις και τις άψογες επαναγραφές, ένα αυξανόμενο πρόβλημα καθώς τα αποτελέσματα του LLM αποκλίνουν λεξιλογικά από τις αναφορές. Οι μετρήσεις που βασίζονται στην ενσωμάτωση, όπως το BERTScore και οι μετρήσεις εκμάθησης όπως το BLEURT και το COMET, καθώς και η αξιολόγηση LLM-as-judge, τις συμπληρώνουν ή τις αντικαθιστούν όλο και περισσότερο. Ωστόσο, το ROUGE και το BLEU παραμένουν ως γρήγορες, διαφανείς γραμμές βάσης που αναφέρονται σχεδόν σε κάθε έγγραφο.
Κάνοντάς το στην πράξη
Γιατί έχει σημασία
- Κόστος και προϋπολογισμός. Οι αποφάσεις για την αρχιτεκτονική καθορίζουν την απόδοση και το λειτουργικό κόστος για χρόνια.
- Σαφέστερες αποφάσεις. Η τεχνική εκπαίδευση βοηθά τις ομάδες να επιλέξουν τη σωστή στοίβα, όχι μόνο τη νεότερη.
- Ελεγχος ποιότητας. Οι καλύτερες επιλογές μηχανικής μειώνουν τα περιστατικά αξιοπιστίας στην παραγωγή.
Προσέξτε
- Η βελτιστοποίηση ενός σημείου αναφοράς μπορεί να κρύψει ευρύτερες αδυναμίες του συστήματος.
- Το κόστος υποδομής και συντήρησης συχνά υποτιμάται.
- Τα κενά ασφάλειας και παρατηρητικότητας μπορούν να αυξηθούν καθώς τα συστήματα γίνονται πιο πολύπλοκα.
Επόμενα βήματα
- Καθορίστε τους στόχους καθυστέρησης, ποιότητας και κόστους πριν από την εφαρμογή.
- Σημείο αναφοράς υπό ρεαλιστικές συνθήκες φορτίου και δεδομένων.
- Παρακολούθηση οργάνου για σφάλματα, μετατόπιση και επιπτώσεις από τον χρήστη.
- Προετοιμάστε διαδρομές επαναφοράς και απόκρισης συμβάντος πριν την κλιμάκωση.
Συνεχίστε την εξερεύνηση
Δωρεάν ενημερωτικό δελτίο
Λάβετε την καθημερινή ενημέρωση AI
Τρία επαληθευμένα νέα AI κάθε πρωί της εβδομάδας, γραμμένα σε απλή αγγλική. Δωρεάν για πάντα, χωρίς διαφημίσεις.
Ένα email κάθε εργάσιμη ημέρα. Κατάργηση συνδρομής με ένα κλικ. Δεν πουλάμε ή μοιραζόμαστε ποτέ τη διεύθυνσή σας.
Δοκιμάστε τον εαυτό σας
Πάρτε το κουίζ ROUGE και BLEU Evaluation Metrics
Άμεση ανάδραση σε κάθε απάντηση, και πιστοποιητικό με επαληθεύσιμο ID μόλις περάσετε το μάθημα.
Υποστηρίξτε τη δωρεάν εκπαίδευση AI. AI Understanding είναι μια μη κερδοσκοπική οργάνωση 501(c)(3) — χωρίς διαφημίσεις, χωρίς τοίχο πληρωμής, ποτέ. Κάντε μια δωρεά
Συχνές ερωτήσεις
Τι είναι το ROUGE και το BLEU Evaluation Metrics;
Το ROUGE και το BLEU είναι οι αυτόματες μετρήσεις για τη σύγκριση κειμένου που δημιουργείται από μηχανή με ανθρώπινες αναφορές. Το BLEU κατασκευάστηκε για μετάφραση και βασίζεται στην ακρίβεια. Το ROUGE κατασκευάστηκε για σύνοψη και βασίζεται στην ανάκληση.
Ποια μέτρηση σχεδιάστηκε αρχικά για αυτόματη μετάφραση και δίνει έμφαση στην ακρίβεια;
Το BLEU δημιουργήθηκε για μετάφραση και βασίζεται σε τροποποιημένη ακρίβεια n-gram με ποινή συντομίας.
Σε τι είναι πρωτίστως προσανατολισμένο το ROUGE;
Το ROUGE αντιπροσωπεύει το Recall-Oriented Understudy for Gisting Evaluation και τονίζει πόσο μεγάλο μέρος της αναφοράς καταγράφεται.
Τι αποτρέπει η ποινή συντομίας του BLEU;
Η ποινή συντομίας μειώνει το BLEU όταν ο υποψήφιος είναι πιο κοντός από τον αριθμό αναφοράς, εμποδίζοντας τα συστήματα να διογκώνουν την ακρίβεια με λακωνική απόδοση.
Τι μετράει το ROUGE-L;
Το ROUGE-L χρησιμοποιεί τη μεγαλύτερη κοινή δευτερεύουσα ακολουθία, ανταμείβοντας τους αγώνες κατά σειρά, επιτρέποντας παράλληλα κενά.
Ποιος είναι ο βασικός κοινός περιορισμός τόσο του BLEU όσο και του ROUGE;
Και οι δύο βασίζονται σε ακριβή αντιστοίχιση λέξης/n-gram, επομένως υποτιμούν έγκυρες παραφράσεις που διαφέρουν λεξιλογικά από την αναφορά.
Συνέχισε να μαθαίνεις
Σχετικοί οδηγοί
Επιλέχθηκαν περισσότεροι οδηγοί για αυτό το θέμα