Κουίζ αντιθετικής αποκωδικοποίησης

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

1. Στην αντιθετική αποκωδικοποίηση, τι ρόλο παίζει το μικρό «ερασιτεχνικό» μοντέλο;
   • Οι πιθανότητες καταγραφής του αφαιρούνται για την καταστολή των κοινών τρόπων αποτυχίας
   • Δημιουργεί απευθείας το τελικό κείμενο εξόδου
   • Είναι προσαρμοσμένο στα λάθη του ειδικού
   • Αντικαθιστά τον εμπειρογνώμονα όταν ο εμπειρογνώμονας είναι αβέβαιος
2. Γιατί η αφαίρεση των πιθανοτήτων του ερασιτέχνη μειώνει την επανάληψη και την ήπια απόδοση;
   • Ο ερασιτέχνης εκπαιδεύεται να μην επαναλαμβάνει ποτέ λέξεις
   • Τα γενικά και επαναλαμβανόμενα διακριτικά προτιμώνται και από τα δύο μοντέλα, επομένως η αντίθεση τα ακυρώνει
   • Ο ερασιτέχνης διαγράφει διπλότυπα διακριτικά μετά από γενιά
   • Η επανάληψη είναι αδύνατη μόλις ψηφίσουν δύο μοντέλα
3. What does the adaptive plausibility constraint do in contrastive decoding?
   • It guarantees every remaining continuation is coherent and true
   • It replaces the expert distribution with the amateur distribution
   • It filters out candidates whose expert probability is too low relative to the expert’s top token
   • It forces every token to have equal probability
4. Ποια είναι περίπου η φόρμουλα βαθμολόγησης στην αντιθετική αποκωδικοποίηση;
   • log p_amateur μείον log p_expert
   • p_expert φορές p_ερασιτέχνης
   • Ο μέσος όρος των δύο πιθανοτήτων
   • log p_expert μείον έναν συντελεστή επί ημερολόγιο p_amateur
5. Ένα βασικό πρακτικό πλεονέκτημα της αντιθετικής αποκωδικοποίησης είναι ότι:
   • Λειτουργεί σε χρόνο συμπερασμάτων χωρίς επιπλέον εκπαίδευση
   • Απαιτεί επανεκπαίδευση και των δύο μοντέλων από κοινού
   • Λειτουργεί μόνο σε εργασίες ταξινόμησης
   • Εξαλείφει την ανάγκη για μεγάλο μοντέλο
6. Ποια μεταγενέστερη μέθοδος επεκτείνει την αντίθετη ιδέα στα επίπεδα ενός μόνο μοντέλου;
   • Αναζήτηση δέσμης
   • DoLa, το οποίο έρχεται σε αντίθεση στα πρώιμα με τα όψιμα στρώματα
   • Άπληστη αποκωδικοποίηση
   • Κλίμακα θερμοκρασίας
7. The expert assigns probability 0.4 to its top token and the plausibility threshold is 0.1 of that value. What is the minimum probability for a candidate to remain eligible?
   • 0.4
   • 0.1
   • 0.04
   • 0.004
8. Why can contrastive decoding require more inference work than using the expert model alone?
   • It must retrain both models for every prompt
   • It replaces the vocabulary with image patches
   • It runs only the amateur model
   • It scores candidates with both an expert and an amateur model at inference time