什麼是混合式專家 (MoE)？定義 | AI Understanding

定義

具有專門子網路的架構，其中每個輸入僅運行選定的專家。

相關術語

模型將輸入分配給一個或多個預定義類別的任務。

滑動視窗注意

一種注意模式，其中每個令牌僅關注附近令牌的固定大小視窗以減少計算。

注意力機制

產生輸出時動態注意輸入的相關部分的模型組件。

一種推理風格，人工智慧模型將問題分解為中間步驟。

一種學習文字和圖像之間共享表示的多模態模型架構。

訓練和運行模型所需的處理資源，通常以 FLOPS 或 GPU 小時來衡量。

在我們的免費指南中了解更多信息

Expert Parallelism for MoE Serving Mixture-of-Agents Aggregation Mixture of Depths Mixture of LoRA Experts

參見

Memory (Agent Memory)Model Card Machine Learning (ML)Model Drift Loss Function Model Quantization LoRA (Low-Rank Adaptation)Multimodal Model

瀏覽完整的人工智慧術語表探索所有免費的人工智慧指南