Τι είναι Κλάδεμα?

Ένα μοτίβο προσοχής όπου κάθε διακριτικό παρακολουθεί μόνο ένα παράθυρο σταθερού μεγέθους κοντινών κουπονιών για μείωση του υπολογισμού.

Μια εμπειρική σχέση που δείχνει πώς η απόδοση βελτιώνεται με το μέγεθος του μοντέλου, τα δεδομένα ή τον υπολογισμό.

Ένα μικρότερο μοντέλο εκπαιδευμένο να μιμείται τη συμπεριφορά ενός μεγαλύτερου μοντέλου ενώ χρησιμοποιεί λιγότερους υπολογισμούς στο συμπέρασμα.

Ο βασικός αλγόριθμος εκπαίδευσης που ενημερώνει τα βάρη των μοντέλων διαδίδοντας τα σφάλματα πρόβλεψης προς τα πίσω μέσω του δικτύου.

Οι πόροι επεξεργασίας που απαιτούνται για την εκπαίδευση και την εκτέλεση μοντέλων, που συχνά μετρώνται σε ώρες FLOPS ή GPU.

Ένα διάνυσμα που δείχνει πόσο πρέπει να αλλάξει κάθε παράμετρος για να μειωθεί η απώλεια.