Κουίζ που συνδέεται με οδηγό · Σκληρό Επίπεδο

Ομαδοποιημένη κανονικοποίηση ανταμοιβής στο Κουίζ RLHF

Μάθετε πώς το GRPO συγκρίνει δειγματοληπτικές απαντήσεις σε μια ομάδα προτροπής, αφαιρεί έναν κριτικό και χρησιμοποιεί έναν στόχο τύπου PPO για ενημερώσεις πολιτικής.

Σχετικές διαδρομές οδηγώνΟμαδοποιημένη κανονικοποίηση ανταμοιβής σε Rlhf
Ερώτηση 1 του 8

Στην ομαδοποιημένη ομαλοποίηση ανταμοιβής, ποια είναι η ανταμοιβή κάθε απάντησης σε σύγκριση με;

Προεπισκόπηση κάθε ερώτησης8 ερωτήσεις

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

  1. Στην ομαδοποιημένη ομαλοποίηση ανταμοιβής, ποια είναι η ανταμοιβή κάθε απάντησης σε σύγκριση με;
    • Ο μέσος όρος και η τυπική απόκλιση της ομάδας της δικής του προτροπής
    • Μια σταθερή παγκόσμια σταθερά
    • Η ανταμοιβή από την προηγούμενη εποχή
    • Αριθμός παραμέτρων του μοντέλου
  2. Ποιος αλγόριθμος σχετίζεται περισσότερο με την ομαδοποίηση ομαδικής ανταμοιβής;
    • Στοχαστική κλίση κάθοδος
    • GRPO (Βελτιστοποίηση σχετικής πολιτικής ομάδας)
    • K-σημαίνει ομαδοποίηση
    • Ο πίσω πολλαπλασιασμός
  3. Ποιο στοιχείο του τυπικού PPO εξαλείφει το GRPO;
    • Το μοντέλο ανταμοιβής
    • Το νευρωνικό δίκτυο εξ ολοκλήρου
    • Το χωριστό δίκτυο αξίας (κριτικό)
    • Τα δεδομένα της εκπαίδευσης
  4. Τι συμβαίνει σε μια απάντηση της οποίας η ανταμοιβή είναι κάτω από τη μέση τιμή της ομάδας της;
    • Λαμβάνει θετικό πλεονέκτημα και ενισχύεται
    • Διαγράφεται από το σύνολο δεδομένων
    • Η ανταμοιβή του διπλασιάζεται
    • Λαμβάνει αρνητικό πλεονέκτημα και αποθαρρύνεται
  5. What does within-prompt reward normalization provide to a GRPO update?
    • A relative, scaled advantage for each response compared with others for the same prompt
    • A guarantee that all prompt difficulty differences disappear
    • A higher learning rate
    • A way to make every response receive the same reward
  6. What happens when every response in a prompt group receives the same reward?
    • Every response gets a positive advantage
    • Centering gives no relative advantage; zero spread also requires numerical handling
    • The group mean doubles the reward
    • The model stops needing a policy objective
  7. Which PPO-style update element does GRPO retain?
    • A separately learned value network
    • K-means clustering over tokens
    • A clipped policy objective
    • A language-model tokenizer
  8. What can a KL penalty relative to a reference policy help constrain in GRPO?
    • The number of prompts in each group
    • The length of the tokenizer vocabulary
    • The resolution of generated images
    • How far the updated policy drifts from the reference policy