学习新闻工具职位使命

人工智能术语

什么是混合专家 (MoE)？

定义

具有专门子网络的架构，其中每个输入仅运行选定的专家。

浏览完整的人工智能术语表探索所有免费的人工智能指南

分类模型将输入分配给一个或多个预定义类别的任务。滑动窗口注意一种注意模式，其中每个令牌仅关注附近令牌的固定大小窗口以减少计算。注意力机制生成输出时动态关注输入的相关部分的模型组件。思想链一种推理风格，人工智能模型将问题分解为中间步骤。剪辑一种学习文本和图像之间共享表示的多模态模型架构。计算训练和运行模型所需的处理资源，通常以 FLOPS 或 GPU 小时来衡量。

在我们的免费指南中了解更多信息

Expert Parallelism for MoE Serving Mixture-of-Agents Aggregation Mixture of Depths Mixture of LoRA Experts

参见

Memory (Agent Memory)Model Card Machine Learning (ML)Model Drift Loss Function Model Quantization LoRA (Low-Rank Adaptation)Multimodal Model