什么是专家混合 (MoE)？定义 | AI Understanding

定义

具有专门子网络的架构，其中每个输入仅运行选定的专家。

相关术语

模型将输入分配给一个或多个预定义类别的任务。

滑动窗口注意

一种注意模式，其中每个令牌仅关注附近令牌的固定大小窗口以减少计算。

注意力机制

生成输出时动态关注输入的相关部分的模型组件。

一种推理风格，人工智能模型将问题分解为中间步骤。

一种学习文本和图像之间共享表示的多模态模型架构。

训练和运行模型所需的处理资源，通常以 FLOPS 或 GPU 小时来衡量。

在我们的免费指南中了解更多信息

Expert Parallelism for MoE Serving Mixture-of-Agents Aggregation Mixture of Depths Mixture of LoRA Experts

参见

Memory (Agent Memory)Model Card Machine Learning (ML)Model Drift Loss Function Model Quantization LoRA (Low-Rank Adaptation)Multimodal Model

浏览完整的人工智能术语表探索所有免费的人工智能指南