Обучение Новини Инструм.Работни места Мисия

Термин от речника на AI

Какво е Смес от експерти (MoE)?

Определение

Архитектура със специализирани подмрежи, където само избрани експерти работят на вход.

Разгледайте пълния AI речник Разгледайте всички безплатни ръководства за AI

КласификацияЗадача, при която модел присвоява вход към една или повече предварително дефинирани категории.Плъзгащ се прозорец ВниманиеМодел на внимание, при който всеки токен обръща внимание само на прозорец с фиксиран размер от близки токени, за да намали изчисленията.Механизъм на вниманиетоКомпонент на модел, който динамично се фокусира върху съответните части на вход, когато създава изход.Верига на мисълтаСтил на разсъждение, при който AI модел разлага проблем на междинни стъпки.КЛИПАрхитектура на мултимодален модел, която научава споделени представяния между текст и изображения.ИзчислетеРесурсите за обработка, необходими за обучение и изпълнение на модели, често измервани във FLOPS или GPU часове.

Научете повече в нашите безплатни ръководства

Expert Parallelism for MoE Serving Mixture-of-Agents Aggregation Mixture of Depths Mixture of LoRA Experts

Вижте също

Memory (Agent Memory)Model Card Machine Learning (ML)Model Drift Loss Function Model Quantization LoRA (Low-Rank Adaptation)Multimodal Model