Κουίζ LLM-as-a-Judge

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

1. Τι σημαίνει «LLM-as-a-judge»;
   • Χρήση ενός μοντέλου γλώσσας για τη βαθμολογία ή τη σύγκριση των αποτελεσμάτων ενός άλλου μοντέλου
   • Χρήση γλωσσικού μοντέλου για τη σύνταξη νομικών ετυμηγοριών
   • Ένα μοντέλο που απαντά μόνο σε ερωτήσεις ναι/όχι
   • Ένα μοντέλο που ταξινομεί τα αποτελέσματα αναζήτησης κατά ημερομηνία
2. Ποια είναι η διαφορά μεταξύ της κατά σημείου και της κατά ζεύγη κρίσης;
   • Pointwise είναι πιο γρήγορο. το ζευγάρι είναι πιο αργό αλλά πανομοιότυπο κατά τα άλλα
   • Βαθμολογεί κατά σημείο μια απάντηση σε σχέση με μια ρουμπρίκα. ανά ζευγάρια επιλέγει το καλύτερο από τα δύο
   • Pointwise λειτουργεί μόνο για κώδικα. κατά ζεύγη μόνο για πρόζα
   • Δεν υπάρχει ουσιαστική διαφορά
3. Ποιο από αυτά είναι μια καλά τεκμηριωμένη μεροληψία στους κριτές LLM;
   • Προτιμώ απαντήσεις γραμμένες με όλα τα κεφαλαία γράμματα
   • Προτιμάτε πάντα την πρώτη λέξη αλφαβητικά
   • Προτίμηση μεγαλύτερων απαντήσεων ανεξαρτήτως ποιότητας
   • Αρνείται να βαθμολογήσει ερωτήσεις σχετικά με την ιστορία
4. Πώς αντιμετωπίζουν συνήθως οι αξιολογητές την προκατάληψη θέσης στις συγκρίσεις κατά ζεύγη;
   • Εμφανίζοντας μόνο μία απάντηση κάθε φορά
   • Βάζοντας πάντα την μεγαλύτερη απάντηση πρώτη
   • Διαγράφοντας το πεδίο αιτιολόγησης
   • Εκτελώντας κάθε σύγκριση δύο φορές με την παραγγελία που ανταλλάχθηκε
5. What evaluation procedure did G-Eval use for generated text?
   • Chain-of-thought steps followed by a form-filling evaluation against criteria
   • A speaker verification threshold
   • A search index with BM25 only
   • An image classifier trained on screenshots
6. Πώς μπορεί μια ομάδα να επιβεβαιώσει ότι ένας κριτής LLM παραμένει ευθυγραμμισμένος με τις ανθρώπινες προτιμήσεις;
   • Μην το ελέγξετε ποτέ ξανά μετά την εγκατάσταση
   • Με τη βαθμονόμησή του σε ένα σετ χρυσού με ανθρώπινη ετικέτα
   • Κάνοντας τον ίδιο τον κριτή να βαθμολογήσει
   • Χρησιμοποιώντας το μόνο τα Σαββατοκύριακα
7. What is self-preference bias in LLM-based evaluation?
   • A judge always selects the shortest answer
   • A judge cannot compare two outputs
   • A judge favors outputs generated by its own model or model family
   • A judge evaluates only audio signals
8. What does G-Eval use to make its discrete score more fine-grained in the reported method?
   • The position of the answer in a pairwise comparison
   • The judge model’s parameter count only
   • A count of citations in the answer
   • Probability weights over the candidate score tokens