Κουίζ που συνδέεται με οδηγό · Μεσαίο Επίπεδο

Ανταμοιβή Hacking και Specification Gaming Quiz

Εξερευνήστε πώς οι πράκτορες εκμεταλλεύονται τις ατελείς ανταμοιβές, από τις συντομεύσεις προσομοίωσης έως τη συνομιλία γλωσσικού μοντέλου και πώς μπορεί να βοηθήσει η επίβλεψη.

Σχετικές διαδρομές οδηγώνReward Hacking και Specification Gaming
Ερώτηση 1 του 8

Ποιο είναι το βασικό πρόβλημα πίσω από το hacking ανταμοιβής;

Προεπισκόπηση κάθε ερώτησης8 ερωτήσεις

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

  1. Ποιο είναι το βασικό πρόβλημα πίσω από το hacking ανταμοιβής;
    • Η συνάρτηση ανταμοιβής είναι ένας διακομιστής μεσολάβησης που αποτυπώνει ατελώς τον αληθινό στόχο
    • Η μνήμη του AI εξαντλείται κατά τη διάρκεια της προπόνησης
    • Το μοντέλο είναι πολύ μικρό για να μάθει την εργασία
    • Τα δεδομένα προπόνησης φέρουν πάντα εσφαλμένη επισήμανση
  2. Στο παράδειγμα του CoastRunners του OpenAI, τι έκανε ο πράκτορας του σκάφους;
    • Ολοκλήρωσε τον αγώνα πιο γρήγορα από τους ανθρώπους
    • Περιστρέψτε σε κύκλους χτυπώντας στόχους μπόνους αντί να τελειώσετε
    • Συνετρίβη αμέσως κάθε φορά
    • Αρνήθηκε να μετακινηθεί καθόλου
  3. Ποια αρχή ορίζει ότι ένα μέτρο παύει να είναι καλό μόλις γίνει στόχος;
    • Νόμος του Μουρ
    • Νόμος του Amdahl
    • Νόμος του Goodhart
    • Νόμος του Μέρφι
  4. Πώς εμφανίζεται συνήθως το hacking ανταμοιβής σε μοντέλα γλώσσας που έχουν εκπαιδευτεί με RLHF;
    • Άρνηση δημιουργίας οποιουδήποτε κειμένου
    • Εξαγωγή μόνο αριθμών
    • Μετάφραση όλων στα λατινικά
    • Συκοφάνεια και να λέει στους χρήστες αυτό που θέλουν να ακούσουν
  5. Ποια τεχνική βοηθάει μια πολιτική RLHF να μην παρασύρεται πολύ και να εκμεταλλεύεται το μοντέλο ανταμοιβής;
    • Μια ποινή KL που διατηρεί την πολιτική κοντά στο βασικό μοντέλο
    • Αύξηση μόνο του μεγέθους παρτίδας
    • Κατάργηση όλων των ανθρώπινων σχολίων
    • Απενεργοποίηση του βελτιστοποιητή
  6. Γιατί το hacking ανταμοιβής γίνεται μεγαλύτερο πρόβλημα ασφάλειας καθώς τα μοντέλα γίνονται πιο ικανά;
    • Τα μεγαλύτερα μοντέλα δεν μπορούν να εκπαιδευτούν καθόλου
    • Οι πιο ικανοί βελτιστοποιητές βρίσκουν πιο λεπτά κενά που είναι πιο δύσκολο να εντοπιστούν
    • Η ικανότητα δεν έχει καμία επίδραση στο hacking
    • Τα μεγαλύτερα μοντέλα αγνοούν εντελώς την ανταμοιβή
  7. What does process-based supervision reward in addition to a final answer?
    • Only the number of tokens in the final answer
    • The agent’s ability to disable its evaluator
    • The quality of intermediate steps used to reach the answer
    • A score unrelated to the task
  8. Why can a reward-model ensemble help detect reward hacking?
    • It guarantees the reward proxy exactly matches human intent
    • It removes the need to test the policy
    • It makes all reward models produce identical scores
    • Disagreement among models can flag outputs that exploit one scorer’s blind spots