Κουίζ που συνδέεται με οδηγό · Μεσαίο Επίπεδο

Κουίζ βελτιστοποίησης εγγύς πολιτικής

Ελέγξτε το απόκομμα PPO, τις αναλογίες πολιτικής, τις πηγές ανταμοιβής, τις ποινές KL, τους κριτικούς, τα πλεονεκτήματα και τα όρια RLHF για το μοντέλο γλώσσας. Ελέγξτε τις υποθέσεις και το πεδίο εφαρμογής.

Σχετικές διαδρομές οδηγώνΒελτιστοποίηση εγγύς πολιτικής
Ερώτηση 1 του 8

Ποιο πρόβλημα αντιμετωπίζει πρωτίστως το «κλιπ» του PPO;

Προεπισκόπηση κάθε ερώτησης8 ερωτήσεις

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

  1. Ποιο πρόβλημα αντιμετωπίζει πρωτίστως το «κλιπ» του PPO;
    • Υπερβολικά μεγάλες ενημερώσεις πολιτικής που αποσταθεροποιούν την εκπαίδευση
    • Αργή φόρτωση δεδομένων
    • Όρια μεγέθους λεξιλογίου
    • Χρήση μνήμης κατά την εξαγωγή συμπερασμάτων
  2. Στο μοντέλο γλώσσας RLHF με PPO, από πού προέρχεται συνήθως το σήμα ανταμοιβής;
    • Άμεση ανθρώπινη βαθμολογία για κάθε μάρκα
    • Ένα εκπαιδευμένο μοντέλο ανταμοιβής
    • Το ποσοστό εκμάθησης του βελτιστοποιητή
    • Το μέγεθος του λεξιλογίου
  3. Τι κάνει η ποινή απόκλισης KL σε RLHF που βασίζεται σε PPO;
    • Επιταχύνει τη δημιουργία διακριτικών
    • Αυξάνει την ακρίβεια του μοντέλου ανταμοιβής
    • Αποτρέπει το βελτιωμένο μοντέλο να απομακρυνθεί πολύ από το μοντέλο αναφοράς
    • Καταργεί την ανάγκη για δίκτυο αξιών
  4. Ποιος είναι ο ρόλος του δικτύου αξίας (κριτικής) στο PPO;
    • Για να δημιουργήσετε την τελική έξοδο κειμένου
    • Για να αποθηκεύσετε τα δεδομένα εκπαίδευσης
    • Για να αντικαταστήσει πλήρως το μοντέλο ανταμοιβής
    • Για την εκτίμηση της αναμενόμενης απόδοσης ώστε να μπορούν να υπολογιστούν τα πλεονεκτήματα
  5. Τι αντιπροσωπεύει το «πλεονέκτημα» στο PPO;
    • Πόσο καλύτερη ήταν μια ενέργεια από την αναμενόμενη βασική γραμμή
    • Ο συνολικός αριθμός παραμέτρων του μοντέλου
    • Το εύρος αποκοπής
    • Ο συντελεστής ποινής KL
  6. What distinguishes GRPO from PPO in the DeepSeekMath paper?
    • It removes all policy sampling and optimizes only supervised labels
    • It estimates relative advantages from groups of sampled responses without a separate value critic
    • It uses a trained reward model as a value network
    • It guarantees zero policy drift after one update
  7. What probability ratio does PPO clip in its surrogate objective?
    • The reward divided by the number of prompts
    • The value estimate divided by the KL coefficient
    • The new policy’s action probability divided by the old policy’s action probability
    • The sequence length divided by batch size
  8. Why is PPO called an on-policy method in its standard form?
    • It trains only on a static image dataset
    • It never samples actions
    • It updates only a reward model
    • It collects trajectories using the current policy being optimized