What is Mixture of Experts (MoE)? Definition | AI Understanding

Определение

Архитектура со специализированными подсетями, в которых на каждом входе работают только избранные эксперты.

Связанные термины

Классификация

Задача, в которой модель присваивает входные данные одной или нескольким предопределенным категориям.

Раздвижное окно Внимание

Схема внимания, при которой каждый токен обращается только к окну соседних токенов фиксированного размера для сокращения вычислительных ресурсов.

Механизм внимания

Компонент модели, который динамически фокусируется на соответствующих частях входных данных при создании выходных данных.

Цепочка мыслей

Стиль рассуждения, при котором модель ИИ разлагает проблему на промежуточные этапы.

Архитектура мультимодальной модели, которая изучает общие представления текста и изображений.

Вычислить

Ресурсы обработки, необходимые для обучения и запуска моделей, часто измеряются в FLOPS или часах графического процессора.

Узнайте больше в наших бесплатных руководствах.

Expert Parallelism for MoE Serving Mixture-of-Agents Aggregation Mixture of Depths Mixture of LoRA Experts

См. также

Memory (Agent Memory)Model Card Machine Learning (ML)Model Drift Loss Function Model Quantization LoRA (Low-Rank Adaptation)Multimodal Model

Просмотрите полный глоссарий AI Изучите все бесплатные руководства по искусственному интеллекту