Ενισχυτική μάθηση από το Κουίζ Ανθρώπινης Ανατροφοδότησης

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

1. Ποιος είναι ο κύριος σκοπός του RLHF για ένα γλωσσικό μοντέλο;
   • Να ευθυγραμμίσει τα αποτελέσματά του με τις ανθρώπινες προτιμήσεις για εξυπηρετικότητα και ασφάλεια
   • Για να αυξήσετε τον αριθμό παραμέτρων του μοντέλου
   • Για συμπίεση του μοντέλου για ταχύτερη εξαγωγή συμπερασμάτων
   • Για να μεταφράσετε το μοντέλο σε άλλες γλώσσες
2. Τι πραγματικά μαθαίνει να κάνει το μοντέλο ανταμοιβής στο RLHF;
   • Δημιουργήστε τις τελικές απαντήσεις στους χρήστες
   • Μεταφράστε τις προτροπές σε νόμισμα ανταμοιβής
   • Εκχωρήστε μια βαθμωτή βαθμολογία που να αντικατοπτρίζει πόσο θα προτιμούσαν οι άνθρωποι μια δεδομένη απάντηση
   • Αποφασίστε το ρυθμό εκμάθησης του μοντέλου
3. What does a KL-divergence penalty against a reference policy aim to regularize in an RLHF objective?
   • Every factual error with a complete correctness guarantee
   • How far the optimized policy departs from the reference
   • The tokenizer vocabulary’s spelling
   • The number of human annotators automatically
4. Πώς συλλέγονται συνήθως τα δεδομένα προτιμήσεων για το μοντέλο ανταμοιβής;
   • Οι άνθρωποι γράφουν ολοκαίνουργιες απαντήσεις από την αρχή
   • Το μοντέλο αξιολογεί τη δική του εμπιστοσύνη
   • Οι τυχαίες ετικέτες εκχωρούνται αυτόματα
   • Οι άνθρωποι συγκρίνουν δύο αποκρίσεις μοντέλου στην ίδια προτροπή και επιλέγουν την καλύτερη
5. Τι πλεονέκτημα προσφέρει το DPO (Direct Preference Optimization) έναντι του κλασικού αγωγού RLHF;
   • Δεν απαιτεί καθόλου δεδομένα
   • Εγγυάται ότι το μοντέλο δεν μπορεί ποτέ να είναι λάθος
   • Βελτιστοποιεί την πολιτική απευθείας από τα ζεύγη προτιμήσεων, παρακάμπτοντας ένα ξεχωριστό μοντέλο ανταμοιβής και βρόχο PPO
   • Εξαλείφει την ανάγκη για προ-προπόνηση
6. Στο RLAIF και στο Συνταγματικό AI, από πού προέρχονται πολλά από τα σχόλια;
   • Από ένα μοντέλο AI που δημιουργεί ή κριτικάρει απαντήσεις, μειώνοντας την ανθρώπινη επισήμανση
   • Μόνο από πληρωμένους ανθρώπους σχολιαστές
   • Από γεννήτριες τυχαίων αριθμών
   • Απευθείας από το σώμα προεκπαίδευσης του μοντέλου
7. An RLHF response receives a high learned reward but contains a false claim. What does this show?
   • High reward proves the claim is true
   • The response must have been generated without tokens
   • The reference model’s vocabulary disappeared
   • A preference-based reward is a proxy and can be mistaken
8. Why should an RLHF team examine whose preference comparisons were collected?
   • Annotator identity determines the GPU clock rate
   • The judgments and task distribution shape what the model is rewarded for
   • Every population has identical response preferences
   • Preference data affect only file compression