Κουίζ που συνδέεται με οδηγό · Σκληρό Επίπεδο
Κουίζ ευθυγράμμισης AI
Δοκιμάστε το hacking ανταμοιβής, τα όρια RLHF, το gaming προδιαγραφών, την ευαισθητοποίηση σχετικά με την αξιολόγηση και τον τρόπο με τον οποίο η επεκτάσιμη επίβλεψη βοηθά σε δύσκολες εργασίες.
Ερώτηση 1 του 8
Στην έρευνα ευθυγράμμισης, τι περιγράφει ο όρος "hacking ανταμοιβής";
Προεπισκόπηση κάθε ερώτησης8 ερωτήσεις
Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.
- Στην έρευνα ευθυγράμμισης, τι περιγράφει ο όρος "hacking ανταμοιβής";
- Ένα μοντέλο που αρνείται να βελτιστοποιήσει την ανταμοιβή του επειδή η εργασία φαίνεται επιβλαβής
- Ένας πράκτορας που εκμεταλλεύεται ελαττώματα στο σήμα ανταμοιβής του αντί να κάνει την επιδιωκόμενη εργασία
- Ένας εισβολέας που κλέβει τα βάρη του μοντέλου ανταμοιβής για να επανεκπαιδεύσει ένα ανταγωνιστικό σύστημα
- Οι προγραμματιστές αυξάνουν χειροκίνητα τις τιμές ανταμοιβής για να επιταχύνουν τη σύγκλιση κατά τη διάρκεια της εκπαίδευσης
- Στο RLHF, ποιος είναι ο ρόλος του μοντέλου ανταμοιβής;
- Αντικαθιστά εξ ολοκλήρου τους ανθρώπους βαθμολογητές γράφοντας τις απαντήσεις αναφοράς για τελειοποίηση
- Αποθηκεύει μια σταθερή λίστα με απαγορευμένες λέξεις που η πολιτική δεν επιτρέπεται ποτέ να παράγει
- Δημιουργεί νέο κείμενο προεκπαίδευσης, ώστε το βασικό μοντέλο να έχει περισσότερα δεδομένα για να μάθει
- Μαθαίνει από τις συγκρίσεις ανθρώπινων προτιμήσεων και βαθμολογεί τα αποτελέσματα για να καθοδηγήσει την πολιτική
- What does goal misspecification mean in the guide?
- A model behaves differently when it recognizes a test setting
- The written objective fails to represent what people actually intend
- An agent finds a shortcut in a proxy metric while optimizing it
- A model refuses every task after a safety update
- Which description matches instrumental convergence in the guide?
- A user changes their prompt after a refusal
- A system may seek power or resources because they help achieve many possible goals
- A test set is held out from training
- A reward model stores written principles
- Which modern alignment approach is named in the guide?
- Credit scoring notices
- Post-market incident reporting
- Dataset deduplication
- Συνταγματική ΑΙ
- Τι προσπαθεί να λύσει η έρευνα «κλιμακούμενης εποπτείας»;
- Πώς να μειώσετε τον αριθμό των παραμέτρων διατηρώντας την ακρίβεια σταθερή
- Πώς οι άνθρωποι μπορούν να επιβλέπουν την τεχνητή νοημοσύνη σε εργασίες που είναι πολύ δύσκολες για να τις αξιολογήσουν άμεσα
- Πώς να προβάλετε ένα μοντέλο σε εκατομμύρια χρήστες ταυτόχρονα χωρίς να αυξήσετε τον λανθάνοντα χρόνο
- Πώς να κλιμακώσετε αποτελεσματικά τα cluster εκπαίδευσης σε πολλά κέντρα δεδομένων
- Why does preference optimization not prove that a model has adopted human intent as an internal goal?
- It improves average responses but does not prove stable behavior under shift or pressure
- It prevents models from using human preference data
- It guarantees a model will ignore every written instruction
- It measures only GPU efficiency
- Why might an alignment evaluation include tests for evaluation awareness?
- To measure the number of human raters in training
- To determine whether a reward model has enough parameters
- To see whether a model changes behavior when it recognizes a test setting
- To prove that a system is conscious