Κουίζ που συνδέεται με οδηγό · Μεσαίο Επίπεδο

Επαναληπτικό κουίζ DPO και Online Preference Tuning

Μάθετε πώς το επαναληπτικό DPO ανανεώνει τα δεδομένα προτιμήσεων, χρησιμοποιεί κριτές και ανταλλάσσει επαναλαμβανόμενους γύρους ευθυγράμμισης έναντι πρόσθετου κόστους και μεροληψίας.

Σχετικές διαδρομές οδηγώνΕπαναληπτικός συντονισμός DPO και Online Preference
Ερώτηση 1 του 8

Τι αποφεύγει ο DPO που απαιτεί το παραδοσιακό RLHF (PPO);

Προεπισκόπηση κάθε ερώτησης8 ερωτήσεις

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

  1. Τι αποφεύγει ο DPO που απαιτεί το παραδοσιακό RLHF (PPO);
    • Εκπαίδευση ενός ξεχωριστού μοντέλου ρητής ανταμοιβής
    • Τυχόν δεδομένα εκπαίδευσης
    • Χρησιμοποιώντας ένα νευρωνικό δίκτυο
    • Ανθρώπινες προτιμήσεις εξ ολοκλήρου
  2. Γιατί ο επαναληπτικός (διαδικτυακός) DPO είναι συχνά καλύτερος από την εκτέλεση του DPO μία φορά σε ένα σταθερό σύνολο δεδομένων;
    • Δεν χρειάζεται ετικέτες προτίμησης
    • Διατηρεί τα δεδομένα εκπαίδευσης στην πολιτική και φρέσκα καθώς αλλάζει το μοντέλο
    • Καταργεί το μοντέλο αναφοράς
    • Λειτουργεί μόνο για εικόνες
  3. Τι ρόλο παίζει το μοντέλο αναφοράς στην απώλεια DPO;
    • Δημιουργεί την έξοδο του τελικού χρήστη
    • Επισημαίνει τις προτιμήσεις
    • Αγκυρώνει την πολιτική μέσω ενός λόγου log-πιθανότητας, ελέγχοντας την απόκλιση
    • Αντικαθιστά το tokenizer
  4. Σε μία μόνο επανάληψη του διαδικτυακού DPO, ποια είναι η τυπική ακολουθία;
    • Διαγράψτε το μοντέλο και μετά επανεκπαιδεύστε από την αρχή
    • Επαναπροσδιορίστε μόνο παλιά δεδομένα χωρίς δειγματοληψία
    • Εκπαιδεύστε ένα CNN σχετικά με τις απαντήσεις
    • Δοκιμάστε νέες απαντήσεις, κρίνετε τις προτιμήσεις και, στη συνέχεια, εκτελέστε μια ενημέρωση DPO
  5. Τι ελέγχει η βήτα υπερπαράμετρος στο DPO;
    • Πόσο έντονα αποκλίνει η πολιτική από το μοντέλο αναφοράς
    • Το μέγεθος του λεξιλογίου
    • Ο αριθμός των GPU
    • Η ανάλυση της εικόνας
  6. Ποια είναι μια βασική ιδέα πίσω από το επαναληπτικό DPO «αυτο-επιβράβευσης»;
    • Το μοντέλο δεν χρησιμοποιεί ποτέ προτιμήσεις
    • Το μοντέλο δημιουργεί και κρίνει τα δικά του ζεύγη απόκρισης για τη δημιουργία δεδομένων εκπαίδευσης
    • Οι άνθρωποι πρέπει να επισημαίνουν κάθε ζευγάρι
    • Χρησιμοποιεί μόνο τυχαίες ανταμοιβές
  7. Who can label response preferences in an online DPO iteration?
    • Only the tokenizer
    • Only the reference policy’s embedding layer
    • Human raters or an AI judge such as a reward model
    • A discriminator that never sees responses
  8. What additional work does iterative DPO require compared with using a fixed preference dataset once?
    • Training no model parameters
    • Removing all evaluation from the pipeline
    • Storing every possible response in advance
    • Repeated response generation and preference labeling between updates