What is Mixture of Experts (MoE)? Definition | AI Understanding

Definicja

Architektura z wyspecjalizowanymi podsieciami, w której na wejściu działają tylko wybrani eksperci.

Powiązane terminy

Zadanie, w którym model przypisuje dane wejściowe do jednej lub większej liczby predefiniowanych kategorii.

Uwaga na przesuwane okno

Wzorzec uwagi, w którym każdy token obsługuje tylko okno pobliskich tokenów o stałym rozmiarze, aby zmniejszyć obliczenia.

Mechanizm uwagi

Komponent modelu, który podczas tworzenia wyniku dynamicznie koncentruje się na odpowiednich częściach danych wejściowych.

Łańcuch myśli

Styl rozumowania, w którym model sztucznej inteligencji rozkłada problem na etapy pośrednie.

Architektura modelu multimodalnego, która uczy się wspólnych reprezentacji tekstu i obrazów.

Zasoby przetwarzania wymagane do uczenia i uruchamiania modeli, często mierzone w FLOPS lub godzinach GPU.

Dowiedz się więcej z naszych bezpłatnych przewodników

Expert Parallelism for MoE Serving Mixture-of-Agents Aggregation Mixture of Depths Mixture of LoRA Experts

Zobacz także

Memory (Agent Memory)Model Card Machine Learning (ML)Model Drift Loss Function Model Quantization LoRA (Low-Rank Adaptation)Multimodal Model

Przejrzyj pełny słownik AI Przeglądaj wszystkie bezpłatne przewodniki AI