What is Mixture of Experts (MoE)? Definition | AI Understanding

定義

選択されたエキスパートのみが入力ごとに実行される特殊なサブネットワークを備えたアーキテクチャ。

関連用語

モデルが入力を 1 つ以上の事前定義されたカテゴリに割り当てるタスク。

スライディングウィンドウの注意

コンピューティングを削減するために、各トークンが近くのトークンの固定サイズのウィンドウのみに注目するアテンションパターン。

注意メカニズム

出力を生成するときに、入力の関連部分に動的に焦点を当てるモデルコンポーネント。

思考の連鎖

AI モデルが問題を中間ステップに分解する推論スタイル。

テキストと画像間の共有表現を学習するマルチモーダルモデルアーキテクチャ。

コンピューティング

モデルのトレーニングと実行に必要な処理リソース。多くの場合、FLOPS または GPU 時間で測定されます。

無料ガイドで詳細をご覧ください

Expert Parallelism for MoE Serving Mixture-of-Agents Aggregation Mixture of Depths Mixture of LoRA Experts

See also

Memory (Agent Memory)Model Card Machine Learning (ML)Model Drift Loss Function Model Quantization LoRA (Low-Rank Adaptation)Multimodal Model

AI 用語集の全文を閲覧するすべての無料 AI ガイドを確認する