Κουίζ που συνδέεται με οδηγό · Μεσαίο Επίπεδο

Κανονοποίηση μήκους στο Κουίζ βελτιστοποίησης προτιμήσεων

Εξετάστε πώς οι στόχοι ρύθμισης προτιμήσεων χειρίζονται το μήκος απόκρισης, γιατί το SimPO κανονικοποιεί τις βαθμολογίες διακριτικών και πώς αξιολογούνται οι συνοπτικές απαντήσεις.

Σχετικές διαδρομές οδηγώνΚανονοποίηση μήκους στη βελτιστοποίηση προτιμήσεων
Ερώτηση 1 του 8

Ποια ανεπιθύμητη συμπεριφορά στοχεύει κυρίως να αποτρέψει η κανονικοποίηση μήκους στο DPO;

Προεπισκόπηση κάθε ερώτησης8 ερωτήσεις

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

  1. Ποια ανεπιθύμητη συμπεριφορά στοχεύει κυρίως να αποτρέψει η κανονικοποίηση μήκους στο DPO;
    • Μοντέλα που ευνοούν μεγαλύτερες αποκρίσεις ανεξάρτητα από την πραγματική ποιότητα
    • Μοντέλα που αρνούνται να απαντήσουν σε ερωτήσεις
    • Μοντέλα παραισθησιογόνα γεγονότα
    • Τα μοντέλα ανταποκρίνονται πολύ αργά
  2. Γιατί η έμμεση ανταμοιβή του τυπικού DPO τείνει να αυξάνεται με τη διάρκεια της απόκρισης;
    • Πολλαπλασιάζει την ανταμοιβή με τη θερμοκρασία
    • Είναι ένα άθροισμα διαφορών log-πιθανότητας ανά διακριτικό
    • Χρησιμοποιεί ένα σταθερό μπόνους ανά πρόταση
    • Τιμωρεί ρητά τις σύντομες απαντήσεις
  3. Πώς αντιμετωπίζει το SimPO την προκατάληψη μήκους;
    • Διπλασιάζει το βάρος του μοντέλου αναφοράς
    • Περικόβει όλες τις αποκρίσεις σε ένα σταθερό μήκος
    • Χρησιμοποιεί τη μέση πιθανότητα καταγραφής ανά διακριτικό ως ανταμοιβή
    • Καταργεί εντελώς τα δεδομένα προτιμήσεων
  4. Μια αξιοσημείωτη δομική διαφορά μεταξύ του SimPO και του τυπικού DPO είναι ότι το SimPO:
    • Απαιτεί διπλάσια δεδομένα εκπαίδευσης
    • Λειτουργεί μόνο σε εικόνες
    • Απενεργοποιεί την ντεγκραντέ κάθοδο
    • Δεν χρησιμοποιεί ξεχωριστό μοντέλο αναφοράς
  5. Ποια πρακτική αξιολόγησης βοηθά στην επιβεβαίωση ενός βελτιωμένου μοντέλου σε ποιότητα και όχι μόνο σε μήκος;
    • Αναφορά ποσοστού κέρδους ελεγχόμενης διάρκειας
    • Καταμέτρηση συνολικών παραμέτρων
    • Μέτρηση θερμοκρασίας GPU
    • Αύξηση του μεγέθους της παρτίδας
  6. Which chat-based benchmarks did the SimPO paper use in its reported evaluations?
    • ImageNet, COCO, and GLUE
    • AlpacaEval 2, MT-Bench, and Arena-Hard
    • LibriSpeech, WER, and BLEU
    • MMLU, GSM8K, and HumanEval only
  7. What does SimPO’s target reward margin encourage between a preferred and rejected response?
    • Identical scores for both responses
    • A longer preferred response regardless of quality
    • A larger score difference in favor of the preferred response
    • A new reference model for every token
  8. What risk can overly aggressive length normalization create?
    • It guarantees all answers have the same factual accuracy
    • It makes the reference model’s vocabulary larger
    • It prevents evaluators from comparing responses
    • It can favor answers that are too terse to include necessary detail