Μάθηση Νέα Εργαλεία Θέσεις εργασίας Αποστολή

Όρος Γλωσσάρι AI

Τι είναι Κλάδεμα;

Ορισμός

Αφαίρεση λιγότερο σημαντικών βαρών μοντέλων ή νευρώνων για μείωση του μεγέθους και υπολογισμού.

Περιηγηθείτε στο πλήρες Γλωσσάρι AI Εξερευνήστε όλους τους δωρεάν οδηγούς AI

Συρόμενο παράθυρο ΠροσοχήΈνα μοτίβο προσοχής όπου κάθε διακριτικό παρακολουθεί μόνο ένα παράθυρο σταθερού μεγέθους κοντινών κουπονιών για μείωση του υπολογισμού.Νόμος κλιμάκωσηςΜια εμπειρική σχέση που δείχνει πώς η απόδοση βελτιώνεται με το μέγεθος του μοντέλου, τα δεδομένα ή τον υπολογισμό.Αποσταγμένο μοντέλοΈνα μικρότερο μοντέλο εκπαιδευμένο να μιμείται τη συμπεριφορά ενός μεγαλύτερου μοντέλου ενώ χρησιμοποιεί λιγότερους υπολογισμούς στο συμπέρασμα.Ο πίσω πολλαπλασιασμόςΟ βασικός αλγόριθμος εκπαίδευσης που ενημερώνει τα βάρη των μοντέλων διαδίδοντας τα σφάλματα πρόβλεψης προς τα πίσω μέσω του δικτύου.ΥπολογίστεΟι πόροι επεξεργασίας που απαιτούνται για την εκπαίδευση και την εκτέλεση μοντέλων, που συχνά μετρώνται σε ώρες FLOPS ή GPU.ΚλίσηΈνα διάνυσμα που δείχνει πόσο πρέπει να αλλάξει κάθε παράμετρος για να μειωθεί η απώλεια.

Μάθετε περισσότερα στους δωρεάν οδηγούς μας

Attention Rollout and Head Pruning Structured Pruning and Layer Dropping Model Pruning

Δείτε επίσης

Prompt Injection Quantization Prompt Engineering RAG (Retrieval-Augmented Generation)Prompt Recall Pretraining Recommendation System