Κουίζ που συνδέεται με οδηγό · Μεσαίο Επίπεδο

Κουίζ βελτιστοποίησης προτιμήσεων αναλογίας πιθανοτήτων

Εξηγεί τον στόχο προτίμησης χωρίς μοντέλο αναφοράς, την ποινή του λόγου πιθανοτήτων και τη συνδυασμένη εκπαίδευση επίβλεψης και προτίμησης του ORPO.

Σχετικές διαδρομές οδηγώνΒελτιστοποίηση προτιμήσεων αναλογίας πιθανοτήτων
Ερώτηση 1 του 8

Ποιο είναι το κύριο πρακτικό πλεονέκτημα του ORPO έναντι μεθόδων όπως το DPO;

Προεπισκόπηση κάθε ερώτησης8 ερωτήσεις

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

  1. Ποιο είναι το κύριο πρακτικό πλεονέκτημα του ORPO έναντι μεθόδων όπως το DPO;
    • Εξαλείφει την ανάγκη για ξεχωριστό μοντέλο αναφοράς
    • Δεν απαιτεί καθόλου δεδομένα εκπαίδευσης
    • Λειτουργεί μόνο σε μοντέλα εικόνας
    • Εγγυάται μηδενικές παραισθήσεις
  2. Τι συγκρίνει ο «λόγος πιθανοτήτων» στο ORPO;
    • Ταχύτητα προπόνησης έναντι ακρίβειας
    • Οι πιθανότητες της επιλεγμένης απάντησης έναντι της απορριφθείσας απάντησης
    • Δύο διαφορετικά ποσοστά μάθησης
    • Το μέγεθος του μοντέλου σε σχέση με το μέγεθος δεδομένων
  3. What form does an ORPO preference example contain?
    • Only a single unlabeled response
    • A prompt with two identical completions
    • A prompt with one chosen response and one disfavored response
    • A reward score with no associated responses
  4. How does ORPO convert a response probability p into odds?
    • One minus p divided by p
    • The square root of p
    • The logarithm of the prompt length
    • p divided by one minus p
  5. Ποιος συνδυασμός περιγράφεται καλύτερα η απώλεια ORPO;
    • Διασταυρούμενη εντροπία SFT συν έναν σταθμισμένο όρο προτίμησης λόγου πιθανοτήτων
    • Μόνο μια βαθμολογία ανταμοιβής-μοντέλου
    • Μια καθαρή επιστροφή ενίσχυσης-μάθησης
    • Τυχαία έγχυση θορύβου
  6. Which response receives the supervised fine-tuning component of ORPO?
    • Only the rejected response
    • The chosen or preferred response
    • A response sampled after deployment
    • No response; ORPO has no language-modeling term
  7. Which parameter controls the weight of ORPO’s preference term relative to the supervised loss?
    • Το μέγεθος του λεξιλογίου του tokenizer
    • Ο αριθμός των κεφαλιών προσοχής
    • The preference-loss coefficient
    • The prompt’s character count
  8. Why should an ORPO result report its preference data and evaluation setup?
    • ORPO results are identical across datasets
    • The objective removes the need for evaluation
    • The number of model layers determines every preference
    • Outcomes depend on the dataset, coefficient, base model, and evaluation