Κουίζ βελτιστοποίησης απευθείας προτιμήσεων

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

1. Τι εξαλείφει το DPO σε σύγκριση με το παραδοσιακό RLHF;
   • Το ξεχωριστό μοντέλο ανταμοιβής και ο βρόχος μάθησης ενίσχυσης
   • Η ανάγκη για οποιαδήποτε δεδομένα ανθρώπινης προτίμησης
   • Το βασικό προεκπαιδευμένο γλωσσικό μοντέλο
   • Η χρήση των log-πιθανοτήτων
2. Από ποια δεδομένα αποτελείται ένα μεμονωμένο παράδειγμα εκπαίδευσης DPO;
   • Μια προτροπή και μια αριθμητική βαθμολογία ανταμοιβής
   • Μια προτροπή με μια επιλεγμένη και μια απορριφθείσα απάντηση
   • Μια προτροπή και μια σωστή απάντηση
   • Μόνο το αποτέλεσμα ενός μοντέλου ανταμοιβής
3. Τι ρόλο παίζει το μοντέλο αναφοράς στο DPO;
   • Δημιουργεί τις απορριφθείσες απαντήσεις
   • Βαθμολογεί απαντήσεις με σαφείς ανταμοιβές
   • Είναι η παγωμένη γραμμή βάσης με την οποία μετράται η πολιτική για να περιοριστεί η μετατόπιση
   • Αντικαθιστά τα δεδομένα εκπαίδευσης
4. How does the DPO loss use a labeled preference pair?
   • It regresses both responses to the same scalar target
   • It trains a separate value critic to predict token-level returns
   • It maximizes the rejected response without a reference
   • It increases the chosen response’s policy-versus-reference log-ratio relative to the rejected response
5. Τι ελέγχει η παράμετρος βήτα (θερμοκρασία) στο DPO;
   • Πόσο ισχυρά διατηρείται η πολιτική κοντά στο μοντέλο αναφοράς
   • Το ποσοστό εκμάθησης του βελτιστοποιητή
   • Ο αριθμός των ζευγών προτίμησης
   • Το μέγεθος του λεξιλογίου
6. Which alignment objective can learn from binary feedback that an output is desirable or undesirable?
   • PPO, which requires a value critic for every label
   • KTO, a prospect-theoretic objective for binary desirability feedback
   • DARTS, which searches differentiable network cells
   • Beam search, which changes model weights from rankings
7. In a standard DPO preference example, which response is preferred?
   • The response with more tokens by definition
   • The response with the lowest reference likelihood
   • The response selected by the preference labeler for the given prompt
   • A random response unrelated to the prompt
8. In DPO, what expression serves as the implicit reward for a response, up to an input-dependent constant?
   • A separately trained scalar reward-model head
   • A human-written point score for each token
   • The average sequence length of preference data
   • Beta times the policy/reference log-probability ratio