Κουίζ βελτιστοποίησης σχετικής πολιτικής ομάδας

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

1. Which separately learned estimator does the original GRPO approach avoid training?
   • The policy that generates completions
   • A value or critic model
   • Every possible reward function
   • The reference policy’s vocabulary
2. Πώς υπολογίζει το GRPO το πλεονέκτημα για μια δεδομένη ολοκλήρωση;
   • Ζητώντας μια κεφαλίδα μαθημένης αξίας σε κάθε διακριτικό
   • Χρησιμοποιώντας την ακατέργαστη ανταμοιβή χωρίς κανονικοποίηση
   • Συγκρίνοντάς το με συμπληρώσεις από διαφορετική προτροπή
   • Τυποποιώντας την ανταμοιβή του έναντι του μέσου όρου και της τυπικής απόκλισης της ομάδας συμπληρωμάτων αδελφών του
3. Ποια μοντέλα έκαναν γνωστό το GRPO;
   • Τα συλλογιστικά μοντέλα DeepSeekMath και DeepSeek-R1 της DeepSeek
   • Σειρά GPT-2 της OpenAI
   • Το αρχικό BERT του Google
   • Τα βασικά μοντέλα Llama 2 της Meta
4. Τι ρόλο παίζει ο όρος απόκλισης KL στο GRPO;
   • Δημιουργεί την ομάδα των ολοκληρώσεων
   • Αντικαθιστά το μοντέλο ανταμοιβής
   • Προστατεύει την εκπαιδευμένη πολιτική από το να απομακρυνθεί πολύ από ένα παγωμένο μοντέλο αναφοράς
   • Υπολογίζει την εκτίμηση της αξίας ανά διακριτικό
5. Γιατί το GRPO είναι ιδιαίτερα ελκυστικό για την εκπαίδευση μοντέλων συλλογισμού σε μαθηματικά ή κώδικα;
   • Δεν απαιτεί κανένα σήμα ανταμοιβής
   • Λειτουργεί μόνο με ετικέτες ανθρώπινης προτίμησης
   • Δεν μπορεί να χρησιμοποιήσει δειγματοληπτικές συμπληρώσεις
   • Λειτουργεί φυσικά με επαληθεύσιμες, βασισμένες σε κανόνες ανταμοιβές (π.χ. αντιστοιχούσε η απάντηση ή πέρασαν τα τεστ) που βαθμολογούνται σε μια ομάδα λυμάτων δειγματοληψίας
6. Ποια είναι μια γνωστή προκατάληψη που προσπαθεί να διορθώσει η επόμενη εργασία (όπως ο Dr. GRPO) στο GRPO της βανίλιας;
   • Μια τάση να αγνοείται εντελώς η ανταμοιβή
   • Προκαταλήψεις μήκους και δυσκολίας που εισάγονται από τον τρόπο ομαλοποίησης των ανταμοιβών
   • Αδυναμία δειγματοληψίας περισσότερων από μία ολοκλήρωσης
   • Απαίτηση για ένα τεράστιο δίκτυο κριτικών
7. Three GRPO completions for one prompt receive rewards 2, 4, and 6. Which completion has zero centered advantage?
   • The completion rewarded 2
   • The completion rewarded 6
   • The completion rewarded 4
   • All completions because rewards differ
8. Why compare GRPO reward statistics among completions of the same prompt?
   • They provide a relative baseline for alternative answers to that prompt
   • They require unrelated prompts to have equal difficulty
   • They replace checking whether an answer is correct
   • They make the highest reward identical across all tasks