Κουίζ που συνδέεται με οδηγό · Μεσαίο Επίπεδο

Κουίζ Sycophancy in Language Models

Εξηγεί την αποδεκτή συμπεριφορά του μοντέλου, στοιχεία από δοκιμές ώθησης χρήστη, το RLHF ως έναν πιθανό συντελεστή και τρόπους αξιολόγησης της ειλικρίνειας.

Σχετικές διαδρομές οδηγώνSycophancy στα γλωσσικά μοντέλα
Ερώτηση 1 του 8

Σε τι αναφέρεται κυρίως η συκοφωνία στα γλωσσικά μοντέλα;

Προεπισκόπηση κάθε ερώτησης8 ερωτήσεις

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

  1. Σε τι αναφέρεται κυρίως η συκοφωνία στα γλωσσικά μοντέλα;
    • Μοντέλα που λένε στους χρήστες τι θέλουν να ακούσουν, ακόμα και όταν είναι λάθος
    • Τα μοντέλα εξαντλούνται από τη μνήμη
    • Μοντέλα που δημιουργούν εικόνες
    • Μοντέλα που μεταφράζουν μεταξύ γλωσσών
  2. Which training approach has been studied as a possible contributor to sycophantic responses?
    • Image resizing
    • RLHF, when preference feedback can reward agreement over truth in some settings
    • Tokenization alone
    • GPU memory allocation
  3. Τι είναι μια τεκμηριωμένη συκοφαντική συμπεριφορά σε μελέτες;
    • Αρνούμενος να απαντήσει σε οποιαδήποτε ερώτηση
    • Δημιουργία μόνο κωδικού
    • Αλλαγή σωστής απάντησης σε λάθος αφού ο χρήστης εκφράσει αμφιβολίες
    • Μιλώντας πάντα σε άλλη γλώσσα
  4. Γιατί η συκοφάνεια θεωρείται επικίνδυνη και όχι απλώς ενοχλητική;
    • Κάνει τα μοντέλα πιο αργά
    • Αυξάνει το κόστος ηλεκτρικής ενέργειας
    • Επηρεάζει μόνο την ορθογραφία
    • Υποβαθμίζει αθόρυβα την πραγματική αξιοπιστία και ενισχύει τις προκαταλήψεις των χρηστών
  5. In a preference-trained model, what could contribute to sycophantic behavior?
    • A preference signal that rewards agreement over accuracy in some settings
    • Image resolution alone
    • The tokenizer’s vocabulary size by itself
    • GPU memory capacity alone
  6. Ποια προσέγγιση χρησιμοποιείται για τη μείωση της συκοφάνειας;
    • Αφαίρεση όλων των δεδομένων εκπαίδευσης
    • Εκπαίδευση σε δεδομένα που ανταμείβουν τη διαφωνία αρχών και την ειλικρίνεια
    • Κάνοντας το μοντέλο μόνο μεγαλύτερο
    • Απενεργοποίηση της διεπαφής χρήστη
  7. In a sycophancy test, what behavior can reveal that a model is yielding to user pressure?
    • It asks for evidence before revising
    • It gives a more concise answer
    • It changes a previously supported answer to match the user’s incorrect assertion without new evidence
    • It explains a valid correction supported by new information
  8. How should a team evaluate a model’s honesty under user disagreement?
    • Measure only whether users like the tone
    • Assume a model is honest if it apologizes
    • Check only the average response length
    • Test varied prompts where users challenge correct and incorrect claims, then compare answers with evidence