What is Mixture of Experts (MoE)? Definition | AI Understanding

Definice

Architektura se specializovanými podsítěmi, kde na jeden vstup běží pouze vybraní experti.

Související pojmy

Úloha, kde model přiřadí vstup jedné nebo více předdefinovaným kategoriím.

Posuvné okno Pozor

Vzor pozornosti, kde se každý token věnuje pouze oknu blízkých tokenů s pevnou velikostí, aby se snížil počet výpočtů.

Mechanismus pozornosti

Komponenta modelu, která se při vytváření výstupu dynamicky zaměřuje na relevantní části vstupu.

Řetězec myšlení

Styl uvažování, kdy model AI rozkládá problém na mezikroky.

Architektura multimodálního modelu, která se učí sdílené reprezentace mezi textem a obrázky.

Zdroje zpracování potřebné k trénování a spuštění modelů, často měřené v hodinách FLOPS nebo GPU.

Více se dozvíte v našich bezplatných průvodcích

Expert Parallelism for MoE Serving Mixture-of-Agents Aggregation Mixture of Depths Mixture of LoRA Experts

Viz také

Memory (Agent Memory)Model Card Machine Learning (ML)Model Drift Loss Function Model Quantization LoRA (Low-Rank Adaptation)Multimodal Model

Projděte si celý glosář AI Prozkoumejte všechny bezplatné průvodce AI