What is Mixture of Experts (MoE)? Definition | AI Understanding

Ορισμός

Μια αρχιτεκτονική με εξειδικευμένα υποδίκτυα όπου εκτελούνται μόνο επιλεγμένοι ειδικοί ανά είσοδο.

Σχετικοί όροι

Ταξινόμηση

Μια εργασία όπου ένα μοντέλο εκχωρεί μια είσοδο σε μία ή περισσότερες προκαθορισμένες κατηγορίες.

Συρόμενο παράθυρο Προσοχή

Ένα μοτίβο προσοχής όπου κάθε διακριτικό παρακολουθεί μόνο ένα παράθυρο σταθερού μεγέθους κοντινών κουπονιών για μείωση του υπολογισμού.

Μηχανισμός Προσοχής

Ένα στοιχείο μοντέλου που εστιάζει δυναμικά σε σχετικά μέρη μιας εισόδου κατά την παραγωγή ενός προϊόντος.

Αλυσίδα σκέψης

Ένα στυλ συλλογισμού όπου ένα μοντέλο AI αναλύει ένα πρόβλημα σε ενδιάμεσα βήματα.

Μια πολυτροπική αρχιτεκτονική μοντέλων που μαθαίνει κοινές αναπαραστάσεις μεταξύ κειμένου και εικόνων.

Υπολογίστε

Οι πόροι επεξεργασίας που απαιτούνται για την εκπαίδευση και την εκτέλεση μοντέλων, που συχνά μετρώνται σε ώρες FLOPS ή GPU.

Μάθετε περισσότερα στους δωρεάν οδηγούς μας

Expert Parallelism for MoE Serving Mixture-of-Agents Aggregation Mixture of Depths Mixture of LoRA Experts

Δείτε επίσης

Memory (Agent Memory)Model Card Machine Learning (ML)Model Drift Loss Function Model Quantization LoRA (Low-Rank Adaptation)Multimodal Model

Περιηγηθείτε στο πλήρες Γλωσσάρι AI Εξερευνήστε όλους τους δωρεάν οδηγούς AI