Κουίζ προθέρμανσης και συνημιτονοειδούς ανόπτησης

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

1. Ποιος είναι ο κύριος σκοπός της φάσης προθέρμανσης στην αρχή της προπόνησης;
   • Για να σταθεροποιήσετε την πρώιμη προπόνηση όταν τα βάρη είναι τυχαία και οι κλίσεις είναι θορυβώδεις
   • Για να αυξήσετε σταδιακά το μέγεθος της παρτίδας
   • Για να παγώσετε τα κάτω στρώματα του μοντέλου
   • Για συμπίεση του μοντέλου για ταχύτερη εξαγωγή συμπερασμάτων
2. Η ανόπτηση συνημιτόνου μειώνει τον ρυθμό μάθησης ακολουθώντας ποιο σχήμα;
   • Μια ευθεία διαγώνια γραμμή
   • Μια καμπύλη συνημιτόνου που ξεκινά από ψηλά, χαλαρώνει και ισοπεδώνεται κοντά στο μηδέν
   • Μια συνάρτηση βήματος που πέφτει σε σταθερές εποχές
   • Εκθετική άνοδος
3. Ποιος βελτιστοποιητής επωφελείται ιδιαίτερα από την προθέρμανση επειδή οι εκτιμήσεις διακύμανσής του είναι αναξιόπιστες από νωρίς;
   • Απλό SGD χωρίς ορμή
   • Αναζήτηση πλέγματος
   • Ο Αδάμ και οι παραλλαγές του
   • Κ-σημαίνει
4. Στον τύπο συνημιτόνου, τι αντιπροσωπεύει το Τ;
   • Η θερμοκρασία του μοντέλου για δειγματοληψία
   • Ο αριθμός των GPU που χρησιμοποιούνται
   • Το μέγεθος του λεξιλογίου του tokenizer
   • Ο συνολικός αριθμός των βημάτων προπόνησης στο πρόγραμμα
5. In the guide’s warmup-plus-cosine schedule, what begins after warmup reaches its target rate?
   • Cosine decay begins from the peak learning rate
   • All model weights are reset
   • The schedule switches to a constant zero rate
   • Momentum is removed from every optimizer
6. A linear warmup rises from zero to its target rate over 200 steps. About what rate is used halfway through?
   • The full target rate
   • About half of the target rate
   • The learning rate is exactly zero
   • Twice the target rate
7. At the cosine horizon t = T, what multiplier does the guide’s cosine formula produce?
   • Ένα
   • One-half
   • Μηδέν
   • It becomes negative one
8. Why use a gradual cosine decay after warmup rather than abruptly setting the rate to zero?
   • It guarantees a global minimum
   • It increases the model’s parameter count
   • It removes the need to check training loss
   • It lets the rate ease down so optimization can settle gradually