What is Mixture of Experts (MoE)? Definition | AI Understanding

Meghatározás

Speciális alhálózatokkal rendelkező architektúra, ahol bemenetenként csak kiválasztott szakértők futnak.

Kapcsolódó kifejezések

Olyan feladat, ahol egy modell egy vagy több előre meghatározott kategóriához rendel egy bemenetet.

Tolóablak Figyelem

Figyelembe vételi minta, amelyben minden token csak a közeli tokenek fix méretű ablakát veszi figyelembe, hogy csökkentse a számítást.

Figyelem Mechanizmus

Modellkomponens, amely dinamikusan fókuszál a bemenet releváns részeire, amikor kimenetet állít elő.

Olyan érvelési stílus, amelyben az AI-modell a problémát közbenső lépésekre bontja.

Multimodális modellarchitektúra, amely megtanulja a szöveg és a képek közötti megosztott ábrázolásokat.

A modellek betanításához és futtatásához szükséges feldolgozási erőforrások, gyakran FLOPS vagy GPU órákban mérve.

Tudjon meg többet ingyenes útmutatóinkból

Expert Parallelism for MoE Serving Mixture-of-Agents Aggregation Mixture of Depths Mixture of LoRA Experts

See also

Memory (Agent Memory)Model Card Machine Learning (ML)Model Drift Loss Function Model Quantization LoRA (Low-Rank Adaptation)Multimodal Model

Böngésszen a teljes AI szószedetben Fedezze fel az összes ingyenes AI-útmutatót