What is Mixture of Experts (MoE)? Definition | AI Understanding

Tanım

Giriş başına yalnızca seçilen uzmanların çalıştığı, özel alt ağlara sahip bir mimari.

İlgili terimler

sınıflandırma

Bir modelin bir veya daha fazla önceden tanımlanmış kategoriye girdi atadığı bir görev.

Sürgülü Pencere Dikkat

İşlemi azaltmak için her belirtecin yalnızca yakındaki belirteçlerin sabit boyutlu bir penceresine katıldığı bir dikkat modeli.

Dikkat Mekanizması

Bir çıktı üretirken girdinin ilgili kısımlarına dinamik olarak odaklanan bir model bileşeni.

Düşünce Zinciri

Yapay zeka modelinin bir sorunu ara adımlara ayırdığı bir akıl yürütme tarzı.

Metin ve görüntüler arasındaki paylaşılan temsilleri öğrenen çok modlu bir model mimarisi.

Modelleri eğitmek ve çalıştırmak için gereken işlem kaynakları, genellikle FLOPS veya GPU saatleri cinsinden ölçülür.

Ücretsiz kılavuzlarımızdan daha fazlasını öğrenin

Expert Parallelism for MoE Serving Mixture-of-Agents Aggregation Mixture of Depths Mixture of LoRA Experts

See also

Memory (Agent Memory)Model Card Machine Learning (ML)Model Drift Loss Function Model Quantization LoRA (Low-Rank Adaptation)Multimodal Model

Yapay Zeka Sözlüğünün tamamına göz atın Tüm ücretsiz AI kılavuzlarını keşfedin