What is Mixture of Experts (MoE)? Definition | AI Understanding

Определение

Архитектура със специализирани подмрежи, където само избрани експерти работят на вход.

Свързани термини

Класификация

Задача, при която модел присвоява вход към една или повече предварително дефинирани категории.

Плъзгащ се прозорец Внимание

Модел на внимание, при който всеки токен обръща внимание само на прозорец с фиксиран размер от близки токени, за да намали изчисленията.

Механизъм на вниманието

Компонент на модел, който динамично се фокусира върху съответните части на вход, когато създава изход.

Верига на мисълта

Стил на разсъждение, при който AI модел разлага проблем на междинни стъпки.

Архитектура на мултимодален модел, която научава споделени представяния между текст и изображения.

Изчислете

Ресурсите за обработка, необходими за обучение и изпълнение на модели, често измервани във FLOPS или GPU часове.

Научете повече в нашите безплатни ръководства

Expert Parallelism for MoE Serving Mixture-of-Agents Aggregation Mixture of Depths Mixture of LoRA Experts

See also

Memory (Agent Memory)Model Card Machine Learning (ML)Model Drift Loss Function Model Quantization LoRA (Low-Rank Adaptation)Multimodal Model

Разгледайте пълния AI речник Разгледайте всички безплатни ръководства за AI