What is Mixture of Experts (MoE)? Definition | AI Understanding

Визначення

Архітектура зі спеціалізованими підмережами, де лише вибрані експерти працюють на вході.

Споріднені терміни

Класифікація

Завдання, у якому модель призначає вхідні дані одній або кільком попередньо визначеним категоріям.

Розсувне вікно Увага

Шаблон уваги, де кожен маркер звертається лише до вікна фіксованого розміру сусідніх маркерів, щоб зменшити обчислення.

Механізм уваги

Компонент моделі, який динамічно фокусується на відповідних частинах вхідних даних під час створення виходу.

Ланцюг думок

Стиль міркування, коли модель AI розкладає проблему на проміжні кроки.

Архітектура мультимодальної моделі, яка вивчає спільні представлення між текстом і зображеннями.

Обчислити

Ресурси обробки, необхідні для навчання та запуску моделей, часто вимірюються в FLOPS або годинах GPU.

Дізнайтеся більше в наших безкоштовних посібниках

Expert Parallelism for MoE Serving Mixture-of-Agents Aggregation Mixture of Depths Mixture of LoRA Experts

See also

Memory (Agent Memory)Model Card Machine Learning (ML)Model Drift Loss Function Model Quantization LoRA (Low-Rank Adaptation)Multimodal Model

Перегляньте повний Глосарій ШІ Перегляньте всі безкоштовні посібники зі штучного інтелекту