Обучение Новости Инструм.Вакансии Миссия

Глоссарий терминов искусственного интеллекта

Что такое Смесь экспертов (МО)?

Определение

Архитектура со специализированными подсетями, в которых на каждом входе работают только избранные эксперты.

Просмотрите полный глоссарий AI Изучите все бесплатные руководства по искусственному интеллекту

КлассификацияЗадача, в которой модель присваивает входные данные одной или нескольким предопределенным категориям.Раздвижное окно ВниманиеСхема внимания, при которой каждый токен обращается только к окну соседних токенов фиксированного размера для сокращения вычислительных ресурсов.Механизм вниманияКомпонент модели, который динамически фокусируется на соответствующих частях входных данных при создании выходных данных.Цепочка мыслейСтиль рассуждения, при котором модель ИИ разлагает проблему на промежуточные этапы.КЛИПАрхитектура мультимодальной модели, которая изучает общие представления текста и изображений.ВычислитьРесурсы обработки, необходимые для обучения и запуска моделей, часто измеряются в FLOPS или часах графического процессора.

Узнайте больше в наших бесплатных руководствах.

Expert Parallelism for MoE Serving Mixture-of-Agents Aggregation Mixture of Depths Mixture of LoRA Experts

См. также

Memory (Agent Memory)Model Card Machine Learning (ML)Model Drift Loss Function Model Quantization LoRA (Low-Rank Adaptation)Multimodal Model