Κουίζ που συνδέεται με οδηγό · Μεσαίο Επίπεδο
Κουίζ μοντελοποίησης επιβράβευσης
Δοκιμάστε τις βαθμολογίες του μοντέλου ανταμοιβής, τα δεδομένα προτιμήσεων, την απώλεια κατάταξης ανά ζεύγη, το hacking ανταμοιβής και τη χρήση του καλύτερου μοντέλου στο RLHF. Ελέγξτε τις υποθέσεις και το πεδίο εφαρμογής.
Ερώτηση 1 του 8
Ποια είναι η κύρια έξοδος ενός μοντέλου ανταμοιβής για ένα δεδομένο ζεύγος προτροπής-απόκρισης;
Προεπισκόπηση κάθε ερώτησης8 ερωτήσεις
Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.
- Ποια είναι η κύρια έξοδος ενός μοντέλου ανταμοιβής για ένα δεδομένο ζεύγος προτροπής-απόκρισης;
- Ένα μόνο βαθμωτό σκορ
- Απάντηση σε πλήρες κείμενο
- Μια κατανομή πιθανοτήτων στο λεξιλόγιο
- Μια λίστα με προτιμώμενα διακριτικά
- What feedback format did the InstructGPT paper collect to train its reward model?
- A guaranteed correctness label for every possible answer
- Human rankings of several model responses, converted into pairwise preferences
- A single sentiment score for each training prompt
- Only binary safety labels with no response comparisons
- Τι βελτιστοποιεί το τυπικό μοντέλο απώλειας ανταμοιβής;
- Η απόλυτη αξία ανταμοιβής κάθε απάντησης
- Ακρίβεια πρόβλεψης επόμενου συμβολικού
- Ότι η επιλεγμένη απάντηση έχει υψηλότερη βαθμολογία από αυτή που απορρίφθηκε
- Η διάρκεια των απαντήσεων
- Τι είναι το «hacking ανταμοιβής»;
- Η κλοπή του μοντέλου ανταμοιβής ενός ανταγωνιστή
- Μια μέθοδος επιτάχυνσης της προπόνησης
- Κρυπτογράφηση του σήματος ανταμοιβής
- Η πολιτική εκμεταλλεύεται ελαττώματα στο μοντέλο ανταμοιβής για να λαμβάνει υψηλές βαθμολογίες χωρίς γνήσια ποιότητα
- Πώς ένα μοντέλο επιβράβευσης προκύπτει αρχιτεκτονικά από ένα μοντέλο γλώσσας;
- Αντικαθιστώντας την κεφαλή πρόβλεψης διακριτικού με μία μόνο βαθμωτή κεφαλή εξόδου
- Προσθέτοντας περισσότερα επίπεδα προσοχής
- Αφαιρώντας όλα τα στρώματα του μετασχηματιστή
- Διπλασιάζοντας το λεξιλόγιο
- Πώς χρησιμοποιείται ένα μοντέλο ανταμοιβής κατά τον χρόνο συμπερασμάτων στη δειγματοληψία καλύτερου αριθμού;
- Εκπαίδευση N μοντέλων επιβράβευσης παράλληλα
- Δημιουργία πολλαπλών απαντήσεων και χρήση του μοντέλου ανταμοιβής για την επιλογή της με την υψηλότερη βαθμολογία
- Επιλέγοντας τα Ν πιο κοινά διακριτικά
- Μέσος όρος Ν μοντέλων σημείων ελέγχου
- Why might an RLHF study use an ensemble of reward models during training?
- To guarantee that reward hacking is impossible
- To replace the human preference data with exact correctness labels
- To estimate disagreement or uncertainty across learned preference scorers
- To ensure every candidate receives the same score
- Why should reward-model evaluations include held-out comparisons?
- To ensure training comparisons are never used
- To make every output identical
- To guarantee the reward is unbiased
- To test whether preferences generalize beyond the training comparisons