Κουίζ που συνδέεται με οδηγό · Μεσαίο Επίπεδο

Κουίζ συντονισμού προθέματος

Αξιολογήστε την προσέγγιση παγωμένου κορμού του συντονισμού προθέματος, την εξοικονόμηση παραμέτρων ανά εργασία, την τοποθέτηση επιπέδου προσοχής και τα αποτελέσματα σε εργασίες δημιουργίας φυσικής γλώσσας.

Σχετικές διαδρομές οδηγώνΣυντονισμός προθέματος
Ερώτηση 1 του 8

Τι εκπαιδεύει πραγματικά ο συντονισμός προθέματος;

Προεπισκόπηση κάθε ερώτησης8 ερωτήσεις

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

  1. Τι εκπαιδεύει πραγματικά ο συντονισμός προθέματος;
    • Όλα τα βάρη μετασχηματιστή του μοντέλου
    • Μόνο το επίπεδο λεξιλογίου εξόδου του μοντέλου
    • Ένα ξεχωριστό αντίγραφο του μοντέλου για κάθε εργασία
    • Ένα μικρό σύνολο διανυσμάτων συνεχούς προθέματος ενώ το μοντέλο παραμένει παγωμένο
  2. Πού εισάγονται τα διανύσματα προθέματος;
    • Στα κλειδιά και τις τιμές σε κάθε επίπεδο προσοχής
    • Μόνο στο τελικό επίπεδο εξόδου
    • Μόνο στη λειτουργία απώλειας
    • Στο tokenizer πριν την ενσωμάτωση
  3. Ποιος εισήγαγε τον συντονισμό προθέματος και περίπου πότε;
    • OpenAI το 2018
    • Ο Λι και ο Λιάνγκ στο Στάνφορντ το 2021
    • Google το 2015
    • Meta το 2023
  4. Γιατί ο συντονισμός προθέματος είναι ελκυστικός για την εξυπηρέτηση πολλών εργασιών;
    • Δεν απαιτεί καθόλου δεδομένα εκπαίδευσης
    • Κάνει το συμπέρασμα να εκτελείται σε κανένα υλικό
    • Κάθε εργασία χρειάζεται μόνο ένα μικρό πρόθεμα αντί για ένα πλήρες αντίγραφο μοντέλου
    • Επαναγράφει μόνιμα το βασικό μοντέλο για όλες τις εργασίες ταυτόχρονα
  5. Ποιο κόλπο χρησιμοποιείται συχνά για τη σταθεροποίηση της προπόνησης προθέματος;
    • Διπλασιασμός του ρυθμού μάθησης σε κάθε βήμα
    • Πάγωμα του προθέματος και εκπαίδευση του μοντέλου
    • Αφαίρεση όλων των επιπέδων προσοχής
    • Επαναπαραμετροποίηση του προθέματος μέσω ενός μικρού δικτύου τροφοδοσίας που αργότερα απορρίπτεται
  6. Σε ποιο είδος εργασίας έλαμψε ιδιαίτερα ο συντονισμός του προθέματος;
    • Δημιουργία φυσικής γλώσσας, όπως πίνακας σε κείμενο και περίληψη
    • Ταξινόμηση εικόνων
    • Σύνθεση ακουστικής κυματομορφής
    • Ευρετηρίαση βάσεων δεδομένων
  7. What proportion of model parameters did the original prefix-tuning paper report learning in its experiments?
    • About 10%
    • About 0.1%
    • Περίπου 50%
    • All model parameters
  8. How did prefix-tuning perform in the paper’s low-data settings?
    • It always matched full fine-tuning on every task
    • It could not train with limited examples
    • It outperformed full fine-tuning in some evaluated low-data cases
    • It changed every backbone parameter